Ang web crawler ay isang programa na sistematikong nagba-browse at nag-iindex ng mga web page sa pamamagitan ng pagsunod sa mga link mula sa isang pahina patungo sa iba, karaniwang ginagamit upang matuklasan at i-catalog ang nilalaman sa isang site o sa mas malawak na web. Ang mga search engine ay gumagamit ng mga crawler upang bumuo ng kanilang mga index, at ang mga kumpanya ng AI ay lalong gumagamit ng mga crawler upang mangalap ng training at retrieval data.
Ang mga crawler ay naiiba mula sa mga targeted scrapers sa saklaw: ang isang scraper ay karaniwang kumukuha ng tiyak na data mula sa mga kilalang pahina, habang ang trabaho ng isang crawler ay ang pagtuklas, na natutuklasan ang mga pahina na hindi pa nito alam sa pamamagitan ng pagsunod sa mga link palabas.
Ang isang maayos na crawler ay nagche-check ng robots.txt file ng isang site bago mag-crawl at nilalaktawan ang anumang mga landas na hindi pinapayagan, kahit na ang RFC 9309 ay nagsasaad na ang mga patakarang ito ay hindi isang anyo ng access authorization at hindi kapalit ng tunay na mga hakbang sa seguridad.