Um crawler da web é um programa que navega e indexa sistematicamente páginas da web, seguindo links de página para página, geralmente usado para descobrir e catalogar conteúdo em um site ou na web mais ampla. Os motores de busca usam crawlers para construir seus índices, e as empresas de IA estão cada vez mais utilizando crawlers para coletar dados de treinamento e recuperação.
Os crawlers diferem dos scrapers direcionados em escopo: um scraper geralmente extrai dados específicos de páginas conhecidas, enquanto o trabalho de um crawler é a descoberta, encontrando páginas que ele ainda não conhece ao seguir links para fora.
Um crawler bem-comportado verifica o arquivo robots.txt de um site antes de rastrear e ignora quaisquer caminhos que ele não permite, embora o RFC 9309 afirme que essas regras não são uma forma de autorização de acesso e não substituem medidas de segurança reais.