User-agent: * Disallow: /images/ Disallow: /stats/ Disallow: /ads/ Disallow: /files/ Disallow: /missing.shtml Disallow: /_derived/ Disallow: /_themes/ # Na, schlauer geworden welche Verzeichnisse ihr bei mir alle besuchen könnt? # E-Mail Sammler raus User-agent: WX_mail/2.000 Disallow: / User-agent: ia_archiver Disallow: / User-agent: EmailCollector Disallow: / User-agent: WhoWhere Disallow: / # Rover is a bad dog User-agent: Roverbot Disallow: / User-agent: ActiveAgent Disallow: / User-agent: EmailSiphon Disallow: / # Dank an suchfibel.de für die beispielhafte robots.txt :-)