AI网络爬虫是由AI公司操作的爬虫,用于收集网络内容以训练语言模型或支持实时检索,其目的与传统搜索引擎爬虫不同。示例包括OpenAI的GPTBot和Anthropic的ClaudeBot;而Google则提供Google-Extended,这是一个robots.txt令牌,允许发布者控制Google现有爬虫收集的内容是否可以用于训练Gemini模型。
OpenAI、Anthropic和Perplexity各自运行多个具有不同任务的机器人,因此“AI爬虫”涵盖三种类型的流量:收集训练数据的爬虫、为AI搜索构建索引的爬虫,以及因用户提问而访问页面的抓取器。
三种AI机器人
- 训练爬虫: 收集可能用于训练模型的页面,例如GPTBot和ClaudeBot。
- 搜索爬虫: 索引页面,以便它们可以出现在AI搜索答案中,例如OAI-SearchBot、Claude-SearchBot和PerplexityBot。Perplexity表示PerplexityBot不用于收集训练数据。
- 用户触发的抓取器: 当有人向助手提问时实时加载页面,例如ChatGPT-User、Claude-User和Perplexity-User。
按公司分类的AI机器人
| 公司 | 训练 | 搜索 | 用户触发 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | (无列出) | PerplexityBot | Perplexity-User |
Google采取了不同的方法。Google-Extended没有单独的用户代理:它是一个控制令牌,也涵盖了基础内容,其中Google搜索内容在提示时提供给Gemini模型。Google表示这不会影响Google搜索中的包含或排名。
阻止训练不必阻止AI搜索
每家公司将这些机器人视为独立的开关:
- OpenAI: 表示每个设置是独立的,因此一个网站可以允许OAI-SearchBot出现在ChatGPT搜索中,同时禁止GPTBot。
- Anthropic: 表示阻止Claude-SearchBot或Claude-User可能会降低网站在用户搜索结果中的可见性。
- 用户触发的抓取器不同: OpenAI表示robots.txt规则可能不适用于ChatGPT-User,而Perplexity表示Perplexity-User通常会忽略这些规则,因为是用户请求了抓取。Anthropic表示网站所有者可以使用robots.txt来控制Claude-User。
对于跟踪AI引用的SEO团队,全面的“阻止所有AI机器人”规则可能会将网站从AI答案中移除,而不仅仅是从训练数据中移除。
AI爬虫的数量
Cloudflare在2025年7月报告称,GPTBot在仅AI爬虫流量中的份额从2024年5月的5%上升到2025年5月的30%,而ClaudeBot为21%。同一天,Cloudflare宣布将默认阻止未经许可访问内容的AI爬虫,并询问每个新域名是否允许它们。
这对网络抓取意味着什么
- 机器人名称并不能证明任何事情: 任何客户端都可以在其User-Agent头中发送AI爬虫的名称,因此关心的网站会检查的不仅仅是字符串。
- 阅读您自己令牌的规则: robots.txt可以为每个爬虫设置不同的规则,因此请检查适用于您的用户代理的组,而不仅仅是AI爬虫。
- 预计AI相关流量会有更多阻止: 在Cloudflare等网络上默认阻止的情况下,AI项目的数据管道应计划处理被拒绝的请求并尊重它们。