‘n KI-webkruiper is ‘n kruiper wat deur ‘n KI-maatskappy bedryf word om webinhoud te versamel vir opleiding van taalmodelle of om werklike tydsoek te ondersteun, wat verskil van tradisionele soekenjin-kruipers in doel. Voorbeelde sluit OpenAI se GPTBot en Anthropic se ClaudeBot in; Google bied eerder Google-Extended aan, ‘n robots.txt-token wat uitgewers toelaat om te beheer of inhoud wat Google se bestaande kruipers versamel, gebruik mag word om Gemini-modelle op te lei.
OpenAI, Anthropic en Perplexity bestuur elk verskeie bots met verskillende take, so "KI-kruiper" dek drie tipes verkeer: kruipers wat opleidingsdata versamel, kruipers wat ‘n indeks vir KI-soek bou, en ophaalers wat ‘n bladsy besoek omdat ‘n gebruiker ‘n vraag gevra het.
Drie Tipes KI-Bots
- Opleidingskruipers: versamel bladsye wat gebruik mag word om modelle op te lei, soos GPTBot en ClaudeBot.
- Soekkruipers: indeks bladsye sodat hulle in KI-soek antwoorde kan verskyn, soos OAI-SearchBot, Claude-SearchBot en PerplexityBot. Perplexity sê PerplexityBot word nie gebruik om opleidingsdata te versamel nie.
- Gebruiker-geaktiveerde ophaalers: laai ‘n bladsy in werklike tyd wanneer iemand die assistent iets vra, soos ChatGPT-User, Claude-User en Perplexity-User.
KI-Bots per Maatskappy
| Maatskappy | Opleiding | Soek | Gebruiker-geaktiveerde |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | (geen gelys) | PerplexityBot | Perplexity-User |
Google neem ‘n ander benadering. Google-Extended het geen aparte gebruikersagent nie: dit is ‘n beheertoken wat ook grondslag dek, waar Google Soekinhoud aan Gemini-modelle gegee word tydens die prompt. Google sê dit beïnvloed nie insluiting of rangorde in Google Soek nie.
Blokkeer Opleiding Moet Nie KI-soek Blokkeer nie
Elke maatskappy hanteer hierdie bots as aparte skakelaars:
- OpenAI: sê elke instelling is onafhanklik, so ‘n webwerf kan toelaat dat OAI-SearchBot in ChatGPT-soek verskyn terwyl GPTBot verbied word.
- Anthropic: sê dat die blokkering van Claude-SearchBot of Claude-User ‘n webwerf se sigbaarheid in gebruikers se soekresultate mag verminder.
- Gebruiker-geaktiveerde ophaalers verskil: OpenAI sê robots.txt-reëls mag nie van toepassing wees op ChatGPT-User nie, en Perplexity sê Perplexity-User ignoreer hulle oor die algemeen, omdat ‘n gebruiker die ophaal versoek het. Anthropic sê webwerf-eienaars kan robots.txt gebruik om Claude-User te beheer.
Vir SEO-spanne wat KI-aanhalings volg, kan ‘n blanket "blokkeer alle KI-bots" reël ‘n webwerf uit KI-antwoorde verwyder, nie net uit opleidingsdata nie.
Hoeveel KI-kruiping Daar Is
Cloudflare het in Julie 2025 berig dat GPTBot se aandeel van KI-slegs kruiper verkeer van 5% tot 30% gestyg het tussen Mei 2024 en Mei 2025, met ClaudeBot op 21%. Dieselfde dag het Cloudflare aangekondig dat dit KI-kruipers wat toegang tot inhoud sonder toestemming verkry, standaard sal blokkeer, en elke nuwe domein sal vra of hulle dit wil toelaat.
Wat Dit Beteken vir Webskraping
- ‘n Botnaam bewys niks: enige kliënt kan ‘n KI-kruiper se naam in sy User-Agent kop, so webwerwe wat omgee, moet meer as net die string nagaan.
- Lees die reëls vir jou eie token: robots.txt kan verskillende reëls vir elke kruiper stel, so kyk na die groep wat op jou gebruikersagent van toepassing is, nie net die KI-bots nie.
- Verwag meer blokkades op KI-verwante verkeer: met standaard blokkering op netwerke soos Cloudflare, moet datastrome vir KI-projekte beplan vir geweier versoeke en dit respekteer.