AI网络爬虫是由AI公司操作的爬虫,用于收集网络内容以训练语言模型或支持实时检索,其目的与传统搜索引擎爬虫不同。示例包括OpenAI的GPTBot和Anthropic的ClaudeBot;而Google则提供Google-Extended,这是一个robots.txt令牌,允许发布者控制Google现有爬虫收集的内容是否可以用于训练Gemini模型。

OpenAI、Anthropic和Perplexity各自运行多个具有不同任务的机器人,因此“AI爬虫”涵盖三种类型的流量:收集训练数据的爬虫、为AI搜索构建索引的爬虫,以及因用户提问而访问页面的抓取器。

三种AI机器人

  1. 训练爬虫: 收集可能用于训练模型的页面,例如GPTBot和ClaudeBot。
  2. 搜索爬虫: 索引页面,以便它们可以出现在AI搜索答案中,例如OAI-SearchBot、Claude-SearchBot和PerplexityBot。Perplexity表示PerplexityBot不用于收集训练数据。
  3. 用户触发的抓取器: 当有人向助手提问时实时加载页面,例如ChatGPT-User、Claude-User和Perplexity-User。

按公司分类的AI机器人

公司训练搜索用户触发
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity(无列出)PerplexityBotPerplexity-User

Google采取了不同的方法。Google-Extended没有单独的用户代理:它是一个控制令牌,也涵盖了基础内容,其中Google搜索内容在提示时提供给Gemini模型。Google表示这不会影响Google搜索中的包含或排名。

阻止训练不必阻止AI搜索

每家公司将这些机器人视为独立的开关:

  • OpenAI: 表示每个设置是独立的,因此一个网站可以允许OAI-SearchBot出现在ChatGPT搜索中,同时禁止GPTBot。
  • Anthropic: 表示阻止Claude-SearchBot或Claude-User可能会降低网站在用户搜索结果中的可见性。
  • 用户触发的抓取器不同: OpenAI表示robots.txt规则可能不适用于ChatGPT-User,而Perplexity表示Perplexity-User通常会忽略这些规则,因为是用户请求了抓取。Anthropic表示网站所有者可以使用robots.txt来控制Claude-User。

对于跟踪AI引用的SEO团队,全面的“阻止所有AI机器人”规则可能会将网站从AI答案中移除,而不仅仅是从训练数据中移除。

AI爬虫的数量

Cloudflare在2025年7月报告称,GPTBot在仅AI爬虫流量中的份额从2024年5月的5%上升到2025年5月的30%,而ClaudeBot为21%。同一天,Cloudflare宣布将默认阻止未经许可访问内容的AI爬虫,并询问每个新域名是否允许它们。

这对网络抓取意味着什么

  • 机器人名称并不能证明任何事情: 任何客户端都可以在其User-Agent头中发送AI爬虫的名称,因此关心的网站会检查的不仅仅是字符串。
  • 阅读您自己令牌的规则: robots.txt可以为每个爬虫设置不同的规则,因此请检查适用于您的用户代理的组,而不仅仅是AI爬虫。
  • 预计AI相关流量会有更多阻止: 在Cloudflare等网络上默认阻止的情况下,AI项目的数据管道应计划处理被拒绝的请求并尊重它们。

相关术语