Ang AI web crawler ay isang crawler na pinapatakbo ng isang kumpanya ng AI upang mangalap ng nilalaman mula sa web para sa training language models o para sa real-time retrieval, na naiiba sa tradisyonal na mga search-engine crawlers sa layunin. Kasama sa mga halimbawa ang GPTBot ng OpenAI at ClaudeBot ng Anthropic; nag-aalok naman ang Google ng Google-Extended, isang robots.txt token na nagbibigay-daan sa mga publisher na kontrolin kung ang nilalaman na kinokolekta ng mga umiiral na crawler ng Google ay maaaring gamitin upang sanayin ang mga modelo ng Gemini.
Ang OpenAI, Anthropic, at Perplexity ay may mga bot na may iba't ibang tungkulin, kaya ang "AI crawler" ay sumasaklaw sa tatlong uri ng traffic: mga crawler na nangangalap ng training data, mga crawler na bumubuo ng index para sa AI search, at mga fetcher na bumibisita sa isang pahina dahil may nagtanong na user.
Tatlong Uri ng AI Bots
- Training crawlers: nangangalap ng mga pahina na maaaring gamitin upang sanayin ang mga modelo, tulad ng GPTBot at ClaudeBot.
- Search crawlers: nag-iindex ng mga pahina upang lumabas sila sa mga sagot ng AI search, tulad ng OAI-SearchBot, Claude-SearchBot, at PerplexityBot. Sinasabi ng Perplexity na ang PerplexityBot ay hindi ginagamit upang mangalap ng training data.
- User-triggered fetchers: naglo-load ng isang pahina sa real time kapag may nagtanong sa assistant, tulad ng ChatGPT-User, Claude-User, at Perplexity-User.
AI Bots ayon sa Kumpanya
| Kumpanya | Training | Search | User-triggered |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | (none listed) | PerplexityBot | Perplexity-User |
May ibang diskarte ang Google. Ang Google-Extended ay walang hiwalay na user agent: ito ay isang control token na sumasaklaw din sa grounding, kung saan ang nilalaman ng Google Search ay ibinibigay sa mga modelo ng Gemini sa oras ng prompt. Sinasabi ng Google na hindi ito nakakaapekto sa pagsasama o ranking sa Google Search.
Ang Pag-block ng Training ay Hindi Kailangang Mag-block ng AI Search
Bawat kumpanya ay itinuturing ang mga bot na ito bilang mga hiwalay na switch:
- OpenAI: sinasabi na ang bawat setting ay independent, kaya ang isang site ay maaaring payagan ang OAI-SearchBot na lumabas sa ChatGPT search habang hindi pinapayagan ang GPTBot.
- Anthropic: sinasabi na ang pag-block sa Claude-SearchBot o Claude-User ay maaaring magpababa ng visibility ng isang site sa mga resulta ng user search.
- User-triggered fetchers ay nag-iiba: sinasabi ng OpenAI na ang mga patakaran ng robots.txt ay maaaring hindi nalalapat sa ChatGPT-User, at sinasabi ng Perplexity na ang Perplexity-User ay karaniwang hindi ito pinapansin, dahil may nag-request ng fetch. Sinasabi ng Anthropic na ang mga may-ari ng site ay maaaring gumamit ng robots.txt upang kontrolin ang Claude-User.
Para sa mga SEO teams na nagmo-monitor ng AI citations, ang blanket na "block all AI bots" na patakaran ay maaaring mag-alis ng isang site mula sa mga sagot ng AI, hindi lamang mula sa training data.
Gaano Karaming AI Crawling ang Nandiyan
Nags report ang Cloudflare noong Hulyo 2025 na ang bahagi ng traffic ng AI-only crawler na GPTBot ay tumaas mula 5% hanggang 30% mula Mayo 2024 hanggang Mayo 2025, habang ang ClaudeBot ay nasa 21%. Sa parehong araw, inannounce ng Cloudflare na ito ay magba-block ng mga AI crawlers na uma-access ng nilalaman nang walang pahintulot bilang default, at tatanungin ang bawat bagong domain kung papayagan sila.
Ano ang Kahulugan Nito para sa Web Scraping
- Ang pangalan ng bot ay walang patunay: anumang client ay maaaring magpadala ng pangalan ng AI crawler sa User-Agent header nito, kaya ang mga site na mahalaga ay dapat suriin ang higit pa sa string.
- Basahin ang mga patakaran para sa iyong sariling token: ang robots.txt ay maaaring magtakda ng iba't ibang patakaran para sa bawat crawler, kaya suriin ang grupo na naaangkop sa iyong user agent, hindi lamang ang mga AI bots.
- Asahan ang mas maraming block sa AI-related traffic: sa default na pag-block sa mga network tulad ng Cloudflare, ang mga data pipelines para sa mga proyekto ng AI ay dapat magplano para sa mga denied requests at igalang ang mga ito.