Robots.txt ist eine Datei die mit den HTML-Dateien auf den Server geladen wird um den Suchmaschinen aufzuzeigen welche Inhalte indexiert werden sollen.
Durch die Eingabe von Befehlen wie “disallow” können bestimmte Inhalte von der Indexierung ausgeschlossen werden.
Die Crawler greifen auf ausgeschlossene Seiten in der Robots.txt Datei normalerweise nicht zu.
Allerdings ignorieren manche Crawler die Datei und indexieren ausgeschlossene Webseiten trotzdem.
Austrianweb Onlinemarketing
Infotelefon: +43 699 1 9238168
Tel.: +43 1 9473378
FAX: +43 1 253 30 33 – 9596
Email: office@austrianweb.at
Stavangergasse 1
1220 Wien
Ihre SEO Agentur für
– Österreich
– Deutschland
– Schweiz
Vielfältigkeit ist unsere Stärke:
– Suchmaschinenoptimierung
– Kompletter SEO Bereich
– Penalty Notdienst
– Suchmaschinenwerbung u. Onlinemarketing
– Alles für die Homepage
– Druckartikel
Was brauchen Sie?
Beratung und Erstanalysen sind kostenlos!
