Crawler / Spider

Ein Crawler ist ein Programm der Suchmaschinenbetreiber zur Erfassung und Weiterleitung von Webseiten.

Oft wird dieses Programm auch als Robot oder Spider bezeichnet.

Der Crawler wandelt die Webseiten nach der Erfassung in IP-Adressen um und sendet sie an die Suchergebnislisten.

Spezielle Algorithmen stellen dabei Veränderungen fest die für die Listung der Seite entscheidend sind.

Ein Crawler erfasst circa 30 Seiten pro Sekunde.

Mit dem hinterlegen einer robots.txt-Datei wird den Crawlern die Arbeit erleichtert und es kann angegeben werden, welche Webseiten nicht indexiert werden sollen.