# Ganze Site für alle Robots sperren
# User-agent: *
# Disallow: /
#
# Ganze Site freigeben
# User-agent: *
# Disallow:
#
# robots.txt fuer http://www.beispiel.de/
# User-agent: BeispielRobot
# Disallow: /temp/       # Die Dateien sind sehr kurzlebig
# Disallow: /logfiles/   # Die ändern sich jeden Tag
# Disallow: /bilder/     # Bilder nicht downloaden
# Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren
# Disallow: /news.html   # Die news.html ändert sich täglich
#
# Alle Robots ausschließen
# User-agent: *
# Disallow: /temp/
#
# Massendownloader vom CGI Verzeichnis fernhalten
# User-agent: wget
# User-agent: webzip
# User-agent: webmirror
# User-agent: webcopy
# Disallow: /cgi-bin/
#
# Ganze Site für alle Robots sperren
# User-agent: *
# Disallow: /
#
# Ganze Site freigeben
# User-agent: *
# Disallow: