AI 网络爬虫是由 AI 公司操作的爬虫,用于收集网络内容以 训练语言模型 或支持实时检索,其目的与传统搜索引擎爬虫不同。例子包括 OpenAI 的 GPTBot 和 Anthropic 的 ClaudeBot;Google 则提供 Google-Extended,这是一个 robots.txt 令牌,允许出版商控制 Google 现有爬虫收集的内容是否可以用于训练 Gemini 模型。
OpenAI、Anthropic 和 Perplexity 各自运行多个具有不同任务的机器人,因此 "AI 爬虫" 涵盖三种流量:收集训练数据的爬虫、为 AI 搜索构建索引的爬虫,以及因用户提问而访问页面的抓取器。
三种 AI 机器人
- 训练爬虫: 收集可能用于训练模型的页面,例如 GPTBot 和 ClaudeBot。
- 搜索爬虫: 索引页面,以便它们可以出现在 AI 搜索答案中,例如 OAI-SearchBot、Claude-SearchBot 和 PerplexityBot。Perplexity 表示 PerplexityBot 不用于收集训练数据。
- 用户触发的抓取器: 当有人向助手提问时实时加载页面,例如 ChatGPT-User、Claude-User 和 Perplexity-User。
按公司分类的 AI 机器人
| 公司 | 训练 | 搜索 | 用户触发 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | (未列出) | PerplexityBot | Perplexity-User |
Google 采取不同的方法。Google-Extended 没有单独的用户代理:它是一个控制令牌,也涵盖了基础,Google 搜索内容在提示时提供给 Gemini 模型。Google 表示这不会影响 Google 搜索中的包含或排名。
阻止训练不必阻止 AI 搜索
每家公司将这些机器人视为独立的开关:
- OpenAI: 表示每个设置是独立的,因此一个网站可以允许 OAI-SearchBot 出现在 ChatGPT 搜索中,同时禁止 GPTBot。
- Anthropic: 表示阻止 Claude-SearchBot 或 Claude-User 可能会减少网站在用户搜索结果中的可见性。
- 用户触发的抓取器不同: OpenAI 表示 robots.txt 规则可能不适用于 ChatGPT-User,而 Perplexity 表示 Perplexity-User 通常会忽略这些规则,因为是用户请求了抓取。Anthropic 表示网站所有者可以使用 robots.txt 来控制 Claude-User。
对于跟踪 AI 引用的 SEO 团队,全面的 "阻止所有 AI 机器人" 规则可能会将网站从 AI 答案中移除,而不仅仅是从训练数据中移除。
AI 爬虫的数量
Cloudflare 在 2025 年 7 月报告称,GPTBot 的 AI 专用爬虫流量份额在 2024 年 5 月到 2025 年 5 月之间从 5% 上升到 30%,而 ClaudeBot 为 21%。同一天,Cloudflare 宣布将默认阻止未获许可访问内容的 AI 爬虫,并询问每个新域名是否允许它们。
这对网络抓取的意义
- 机器人名称并不能证明任何事情: 任何客户端都可以在其 User-Agent 头中发送 AI 爬虫的名称,因此关心的站点需要检查的不仅仅是字符串。
- 阅读您自己令牌的规则: robots.txt 可以为每个爬虫设置不同的规则,因此请检查适用于您的用户代理的组,而不仅仅是 AI 机器人。
- 预计 AI 相关流量会有更多阻止: 在 Cloudflare 等网络上默认阻止的情况下,AI 项目的数据管道应计划处理被拒绝的请求并尊重它们。