# 25.11.2008, 17:35
# http://www.vinos-de-penedes.de/
Sitemap: http://www.vinos-de-penedes.de/sitemap
# nicht indizieren:
User-agent: *
Disallow: /cgi-bin/
Disallow: /Admin/
Disallow: /Temp/
Disallow: /Test/
Disallow: /Mail/
Disallow: /A_Musterseite/
# folgende Spider ausschliessen:
User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
User-agent: Heritrix
Disallow: /