AI 网络爬虫是由 AI 公司操作的爬虫,用于收集网络内容以 训练语言模型 或支持实时检索,其目的与传统搜索引擎爬虫不同。例子包括 OpenAI 的 GPTBot 和 Anthropic 的 ClaudeBot;Google 则提供 Google-Extended,这是一个 robots.txt 令牌,允许出版商控制 Google 现有爬虫收集的内容是否可以用于训练 Gemini 模型。

OpenAI、Anthropic 和 Perplexity 各自运行多个具有不同任务的机器人,因此 "AI 爬虫" 涵盖三种流量:收集训练数据的爬虫、为 AI 搜索构建索引的爬虫,以及因用户提问而访问页面的抓取器。

三种 AI 机器人

  1. 训练爬虫: 收集可能用于训练模型的页面,例如 GPTBot 和 ClaudeBot。
  2. 搜索爬虫: 索引页面,以便它们可以出现在 AI 搜索答案中,例如 OAI-SearchBot、Claude-SearchBot 和 PerplexityBot。Perplexity 表示 PerplexityBot 不用于收集训练数据。
  3. 用户触发的抓取器: 当有人向助手提问时实时加载页面,例如 ChatGPT-User、Claude-User 和 Perplexity-User。

按公司分类的 AI 机器人

公司训练搜索用户触发
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity(未列出)PerplexityBotPerplexity-User

Google 采取不同的方法。Google-Extended 没有单独的用户代理:它是一个控制令牌,也涵盖了基础,Google 搜索内容在提示时提供给 Gemini 模型。Google 表示这不会影响 Google 搜索中的包含或排名。

阻止训练不必阻止 AI 搜索

每家公司将这些机器人视为独立的开关:

  • OpenAI: 表示每个设置是独立的,因此一个网站可以允许 OAI-SearchBot 出现在 ChatGPT 搜索中,同时禁止 GPTBot。
  • Anthropic: 表示阻止 Claude-SearchBot 或 Claude-User 可能会减少网站在用户搜索结果中的可见性。
  • 用户触发的抓取器不同: OpenAI 表示 robots.txt 规则可能不适用于 ChatGPT-User,而 Perplexity 表示 Perplexity-User 通常会忽略这些规则,因为是用户请求了抓取。Anthropic 表示网站所有者可以使用 robots.txt 来控制 Claude-User。

对于跟踪 AI 引用的 SEO 团队,全面的 "阻止所有 AI 机器人" 规则可能会将网站从 AI 答案中移除,而不仅仅是从训练数据中移除。

AI 爬虫的数量

Cloudflare 在 2025 年 7 月报告称,GPTBot 的 AI 专用爬虫流量份额在 2024 年 5 月到 2025 年 5 月之间从 5% 上升到 30%,而 ClaudeBot 为 21%。同一天,Cloudflare 宣布将默认阻止未获许可访问内容的 AI 爬虫,并询问每个新域名是否允许它们。

这对网络抓取的意义

  • 机器人名称并不能证明任何事情: 任何客户端都可以在其 User-Agent 头中发送 AI 爬虫的名称,因此关心的站点需要检查的不仅仅是字符串。
  • 阅读您自己令牌的规则: robots.txt 可以为每个爬虫设置不同的规则,因此请检查适用于您的用户代理的组,而不仅仅是 AI 机器人。
  • 预计 AI 相关流量会有更多阻止: 在 Cloudflare 等网络上默认阻止的情况下,AI 项目的数据管道应计划处理被拒绝的请求并尊重它们。

相关术语