AI 網路爬蟲是由 AI 公司運營的爬蟲,用於收集網路內容以進行 訓練語言模型 或支持實時檢索,與傳統搜尋引擎爬蟲的目的不同。例子包括 OpenAI 的 GPTBot 和 Anthropic 的 ClaudeBot;而 Google 則提供 Google-Extended,這是一個 robots.txt 令牌,讓出版商控制 Google 現有爬蟲收集的內容是否可以用來訓練 Gemini 模型。
OpenAI、Anthropic 和 Perplexity 各自運行多個具有不同任務的機器人,因此「AI 爬蟲」涵蓋三種流量:收集訓練數據的爬蟲、為 AI 搜尋建立索引的爬蟲,以及因用戶提問而訪問頁面的獲取器。
三種 AI 機器人
- 訓練爬蟲: 收集可能用於訓練模型的頁面,例如 GPTBot 和 ClaudeBot。
- 搜尋爬蟲: 索引頁面以便它們可以出現在 AI 搜尋答案中,例如 OAI-SearchBot、Claude-SearchBot 和 PerplexityBot。Perplexity 表示 PerplexityBot 不用於收集訓練數據。
- 用戶觸發的獲取器: 當有人向助手提問時實時加載頁面,例如 ChatGPT-User、Claude-User 和 Perplexity-User。
按公司分類的 AI 機器人
| 公司 | 訓練 | 搜尋 | 用戶觸發 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | (無列出) | PerplexityBot | Perplexity-User |
Google 採取不同的方法。Google-Extended 沒有單獨的用戶代理:它是一個控制令牌,還涵蓋了基礎,Google 搜尋內容在提示時提供給 Gemini 模型。Google 表示這不會影響 Google 搜尋中的包含或排名。
阻止訓練不必阻止 AI 搜尋
每家公司將這些機器人視為獨立的開關:
- OpenAI: 表示每個設置是獨立的,因此網站可以允許 OAI-SearchBot 出現在 ChatGPT 搜尋中,同時不允許 GPTBot。
- Anthropic: 表示阻止 Claude-SearchBot 或 Claude-User 可能會降低網站在用戶搜尋結果中的可見性。
- 用戶觸發的獲取器不同: OpenAI 表示 robots.txt 規則可能不適用於 ChatGPT-User,而 Perplexity 表示 Perplexity-User 通常會忽略它們,因為是用戶請求的獲取。Anthropic 表示網站擁有者可以使用 robots.txt 來控制 Claude-User。
對於追蹤 AI 引用的 SEO 團隊,全面的「阻止所有 AI 機器人」規則可能會將網站從 AI 答案中移除,而不僅僅是從訓練數據中。
AI 爬蟲的數量
Cloudflare 在 2025 年 7 月報告,GPTBot 的 AI 專用爬蟲流量份額在 2024 年 5 月到 2025 年 5 月之間從 5% 上升到 30%,而 ClaudeBot 則為 21%。同一天,Cloudflare 宣布將默認阻止未經許可訪問內容的 AI 爬蟲,並詢問每個新域名是否允許它們。
這對網路爬取的意義
- 機器人名稱並不能證明任何事情: 任何客戶都可以在其 User-Agent 標頭中發送 AI 爬蟲的名稱,因此關心的網站需要檢查的不僅僅是字符串。
- 閱讀您自己令牌的規則: robots.txt 可以為每個爬蟲設置不同的規則,因此檢查適用於您的用戶代理的組,而不僅僅是 AI 機器人。
- 預期 AI 相關流量會有更多阻止: 隨著像 Cloudflare 這樣的網絡默認阻止,AI 項目的數據管道應該計劃被拒絕的請求並尊重它們。