Een crawler (ook wel spider of webcrawler genoemd) is een specifiek type robot dat systematisch websites bezoekt om informatie te verzamelen. Crawlers worden meestal gebruikt door zoekmachines zoals Google, Bing of DuckDuckGo.
Wat een crawler doet:
- Leest je webpagina’s
- Volgt links naar andere pagina’s op je site
- Indexeert de inhoud om die zichtbaar te maken in zoekresultaten
De bekendste crawler is Googlebot van Google.
