‘n Webkruiper is ‘n program wat sistematies webbladsye blaai en indekseer deur skakels van bladsy na bladsy te volg, wat tipies gebruik word om inhoud oor ‘n webwerf of die breër web te ontdek en te katalogiseer. Soekenjins gebruik kruipers om hul indekse op te bou, en KI-maatskappye gebruik toenemend kruipers om opleidings- en herwinningsdata te versamel.
Kruipers verskil van geteikende skrapers in omvang: ‘n skraper onttrek gewoonlik spesifieke data van bekende bladsye, terwyl ‘n kruiper se taak ontdekking is, om bladsye te vind waarvan dit nie reeds weet nie deur skakels buite te volg.
‘n Goedgedra kruiper kontroleer ‘n webwerf se robots.txt-lêer voordat dit kruip en slaat enige paaie oor wat dit verbied, alhoewel RFC 9309 verklaar dat hierdie reëls nie ‘n vorm van toegangsauthorisasie is nie en nie ‘n plaasvervanger is vir werklike sekuriteitsmaatreëls nie.