AIウェブクローラーは、AI企業によって運営されるクローラーで、言語モデルのトレーニングやリアルタイム検索のためのコンテンツを収集します。これは、目的が異なる従来の検索エンジンクローラーとは異なります。例としては、OpenAIのGPTBotやAnthropicのClaudeBotがあります。Googleは、Googleの既存のクローラーが収集したコンテンツがGeminiモデルのトレーニングに使用されるかどうかを出版社が制御できるrobots.txtトークンであるGoogle-Extendedを提供しています。
OpenAI、Anthropic、Perplexityはそれぞれ異なる役割を持ついくつかのボットを運営しているため、「AIクローラー」はトレーニングデータを収集するクローラー、AI検索のためのインデックスを構築するクローラー、ユーザーが質問したためにページを訪れるフェッチャーの3種類のトラフィックをカバーします。
3種類のAIボット
- トレーニングクローラー: GPTBotやClaudeBotのように、モデルのトレーニングに使用されるページを収集します。
- 検索クローラー: OAI-SearchBot、Claude-SearchBot、PerplexityBotのように、AI検索の回答に表示されるためにページをインデックスします。Perplexityは、PerplexityBotはトレーニングデータを収集するためには使用されていないと述べています。
- ユーザーによってトリガーされるフェッチャー: 誰かがアシスタントに何かを尋ねたときにリアルタイムでページを読み込む、ChatGPT-User、Claude-User、Perplexity-Userのようなものです。
会社別のAIボット
| 会社 | トレーニング | 検索 | ユーザーによってトリガーされる |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | (なし) | PerplexityBot | Perplexity-User |
Googleは異なるアプローチを取っています。Google-Extendedには別のユーザーエージェントはなく、制御トークンであり、Google検索のコンテンツがプロンプト時にGeminiモデルに提供されるグラウンディングもカバーしています。Googleは、これがGoogle検索のインクルージョンやランキングに影響を与えないと述べています。
トレーニングをブロックすることはAI検索をブロックする必要はない
各社はこれらのボットを別々のスイッチとして扱っています:
- OpenAI: 各設定は独立しているため、サイトはGPTBotを拒否しながらOAI-SearchBotをChatGPT検索に表示させることができます。
- Anthropic: Claude-SearchBotやClaude-Userをブロックすると、サイトのユーザー検索結果での可視性が低下する可能性があります。
- ユーザーによってトリガーされるフェッチャーは異なります: OpenAIはrobots.txtのルールがChatGPT-Userには適用されない可能性があると述べ、PerplexityはPerplexity-Userは一般的にそれを無視すると言っています。Anthropicは、サイト所有者がrobots.txtを使用してClaude-Userを制御できると述べています。
AIの引用を追跡しているSEOチームにとって、「すべてのAIボットをブロックする」という一律のルールは、トレーニングデータだけでなく、AIの回答からもサイトを除外する可能性があります。
どれだけのAIクローリングがあるか
Cloudflareは2025年7月に、GPTBotのAI専用クローラーのトラフィックシェアが2024年5月から2025年5月の間に5%から30%に上昇し、ClaudeBotは21%であると報告しました。同日、Cloudflareは、許可なしにコンテンツにアクセスするAIクローラーをデフォルトでブロックし、新しいドメインにそれらを許可するかどうかを尋ねると発表しました。
ウェブスクレイピングにとっての意味
- ボット名は何も証明しない: どのクライアントでもAIクローラーの名前をUser-Agentヘッダーに送信できるため、気にするサイトは文字列以上のことを確認します。
- 自分のトークンのルールを読む: robots.txtは各クローラーに異なるルールを設定できるため、自分のユーザーエージェントに適用されるグループを確認してください。AIボットだけでなく。
- AI関連のトラフィックに対するブロックが増えることを期待する: Cloudflareのようなネットワークでのデフォルトのブロックにより、AIプロジェクトのデータパイプラインは拒否されたリクエストを計画し、それを尊重する必要があります。