Ordner oder Datei von der Suchmaschine ausgrenzen

Support Wissensdatenbank

Du bist hier:

Ordner/Datei von Suchmaschine ausgrenzen

Erstelle die Datei robots.txt gemäss Wikipedia:

http://de.wikipedia.org/wiki/Robots_Exclusion_Standard

# robots.txt für example.com
# Diese Webcrawler schließe ich aus
User-agent: Sidewinder
Disallow: /
 
User-agent: Microsoft.URL.Control
Disallow: /
 
# Diese Verzeichnisse/Dateien sollen nicht durchsucht werden
User-agent: *
Disallow: /default.html
Disallow: /Temp/ # diese Inhalte verschwinden bald
Disallow: /Privat/Familie/Geburtstage.html

Mit den folgenden Befehlen wird allen Suchmaschinen die Indexierung der kompletten Webpräsenz verboten.

User-agent: *
Disallow: /

Weiteres Beispiel: robots.txt von Wikipedia

Related Post