Penyemak web adalah program yang secara sistematik melayari dan mengindeks halaman web dengan mengikuti pautan dari halaman ke halaman, biasanya digunakan untuk menemui dan mengatalogkan kandungan di seluruh laman atau web yang lebih luas. Enjin carian menggunakan penyemak untuk membina indeks mereka, dan syarikat AI semakin menggunakan penyemak untuk mengumpul data latihan dan pengambilan.
Penyemak berbeza daripada penyapu sasaran dari segi skop: penyapu biasanya mengekstrak data tertentu dari halaman yang diketahui, sementara tugas penyemak adalah penemuan, mencari halaman yang tidak diketahui dengan mengikuti pautan ke luar.
Penyemak yang baik akan memeriksa fail robots.txt laman sebelum menyemak dan mengabaikan sebarang laluan yang tidak dibenarkan, walaupun RFC 9309 menyatakan bahawa peraturan ini bukanlah bentuk kebenaran akses dan bukan pengganti untuk langkah-langkah keselamatan yang sebenar.