Crawler web adalah program yang secara sistematis menjelajahi dan mengindeks halaman web dengan mengikuti tautan dari halaman ke halaman, biasanya digunakan untuk menemukan dan mengatalog konten di seluruh situs atau web yang lebih luas. Mesin pencari menggunakan crawler untuk membangun indeks mereka, dan perusahaan AI semakin menggunakan crawler untuk mengumpulkan data pelatihan dan pengambilan.
Crawler berbeda dari scraper yang ditargetkan dalam hal cakupan: scraper biasanya mengekstrak data spesifik dari halaman yang diketahui, sementara tugas crawler adalah penemuan, menemukan halaman yang belum mereka ketahui dengan mengikuti tautan ke luar.
Crawler yang baik memeriksa file robots.txt situs sebelum menjelajahi dan melewati jalur yang dilarang, meskipun RFC 9309 menyatakan bahwa aturan ini bukan bentuk otorisasi akses dan bukan pengganti untuk langkah-langkah keamanan yang nyata.