ウェブクローラーは、ページからページへリンクをたどりながら体系的にウェブページをブラウズし、インデックスを作成するプログラムであり、通常はサイト全体や広範なウェブ上のコンテンツを発見し、カタログ化するために使用されます。検索エンジンはインデックスを構築するためにクローラーを使用し、AI企業はトレーニングおよび取得データを収集するためにクローラーをますます利用しています。
クローラーは、スコープにおいてターゲットスクレーパーとは異なります。スクレーパーは通常、既知のページから特定のデータを抽出しますが、クローラーの仕事は発見であり、リンクを外側にたどることによって、既に知らないページを見つけることです。
適切に動作するクローラーは、クロールする前にサイトのrobots.txtファイルをチェックし、禁止されているパスをスキップしますが、RFC 9309はこれらのルールがアクセス承認の形式ではなく、実際のセキュリティ対策の代わりにはならないと述べています。