Robots.txt

Robots.txt ist eine Datei die mit den HTML-Dateien auf den Server geladen wird um den Suchmaschinen aufzuzeigen welche Inhalte indexiert werden sollen.

Durch die Eingabe von Befehlen wie „disallow“ können bestimmte Inhalte von der Indexierung ausgeschlossen werden.

Die Crawler greifen auf ausgeschlossene Seiten in der Robots.txt Datei normalerweise nicht zu.

Allerdings ignorieren manche Crawler die Datei und indexieren ausgeschlossene Webseiten trotzdem.

Empfehlen Sie uns bitte weiter:
Facebooktwittergoogle_plus