(Engl. Kriecher, Krabbler)
Der Crawler ist eine Bezeichnung für Programme, die - meist im Auftrag von Suchmaschinen
- Seiten von Webservern für die Indizierung holen.
Andere Definition:
Crawler (Spider) sind spezielle Suchprogramme, die im Web alle Links einer Webseite verfolgen und auf diese Weise neue und geänderte Seiten erkennen und diese dann in einen Suchindex aufnehmen.
Dieses Lexikon ist ein Produkt der quality-Datenbank.