(Engl. Kriecher, Krabbler)
Der Crawler ist eine Bezeichnung für Programme, die - meist im Auftrag von Suchmaschinen
- Seiten von Webservern für die Indizierung holen.
Andere Definition:
Crawler (Spider) sind spezielle Suchprogramme, die im Web alle Links einer Webseite verfolgen und auf diese Weise neue und geänderte Seiten erkennen und diese dann in einen Suchindex aufnehmen.