एक एआई वेब क्रॉलर एक क्रॉलर है जिसे एक एआई कंपनी द्वारा वेब सामग्री एकत्र करने के लिए संचालित किया जाता है भाषा मॉडल को प्रशिक्षित करने के लिए या वास्तविक समय की पुनर्प्राप्ति को शक्ति देने के लिए, जो उद्देश्य में पारंपरिक खोज-इंजन क्रॉलरों से भिन्न है। उदाहरणों में OpenAI का GPTBot और Anthropic का ClaudeBot शामिल हैं; इसके विपरीत, Google Google-Extended प्रदान करता है, जो एक robots.txt टोकन है जो प्रकाशकों को नियंत्रित करने की अनुमति देता है कि क्या Google के मौजूदा क्रॉलर द्वारा एकत्र की गई सामग्री का उपयोग Gemini मॉडल को प्रशिक्षित करने के लिए किया जा सकता है।
OpenAI, Anthropic और Perplexity प्रत्येक विभिन्न कार्यों के साथ कई बॉट चलाते हैं, इसलिए "एआई क्रॉलर" तीन प्रकार के ट्रैफ़िक को कवर करता है: क्रॉलर जो प्रशिक्षण डेटा एकत्र करते हैं, क्रॉलर जो एआई खोज के लिए एक अनुक्रम बनाते हैं, और फ़ेचर्स जो एक पृष्ठ पर जाते हैं क्योंकि एक उपयोगकर्ता ने एक प्रश्न पूछा।
एआई बॉट के तीन प्रकार
- प्रशिक्षण क्रॉलर: पृष्ठ एकत्र करते हैं जो मॉडलों को प्रशिक्षित करने के लिए उपयोग किए जा सकते हैं, जैसे GPTBot और ClaudeBot।
- खोज क्रॉलर: पृष्ठों को अनुक्रमित करते हैं ताकि वे एआई खोज उत्तरों में दिखाई दे सकें, जैसे OAI-SearchBot, Claude-SearchBot और PerplexityBot। Perplexity का कहना है कि PerplexityBot का उपयोग प्रशिक्षण डेटा एकत्र करने के लिए नहीं किया जाता है।
- उपयोगकर्ता-प्रेरित फ़ेचर्स: जब कोई सहायक से कुछ पूछता है तो वास्तविक समय में एक पृष्ठ लोड करते हैं, जैसे ChatGPT-User, Claude-User और Perplexity-User।
कंपनी द्वारा एआई बॉट
| कंपनी | प्रशिक्षण | खोज | उपयोगकर्ता-प्रेरित |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | (कोई सूचीबद्ध नहीं) | PerplexityBot | Perplexity-User |
Google एक अलग दृष्टिकोण अपनाता है। Google-Extended का कोई अलग उपयोगकर्ता एजेंट नहीं है: यह एक नियंत्रण टोकन है जो ग्राउंडिंग को भी कवर करता है, जहां Google खोज सामग्री को प्रॉम्प्ट समय पर Gemini मॉडलों को दिया जाता है। Google का कहना है कि यह Google खोज में समावेश या रैंकिंग को प्रभावित नहीं करता है।
प्रशिक्षण को अवरुद्ध करना एआई खोज को अवरुद्ध नहीं करना चाहिए
प्रत्येक कंपनी इन बॉट्स को अलग स्विच के रूप में मानती है:
- OpenAI: कहता है कि प्रत्येक सेटिंग स्वतंत्र है, इसलिए एक साइट OAI-SearchBot को ChatGPT खोज में दिखाई देने की अनुमति दे सकती है जबकि GPTBot को अस्वीकार कर सकती है।
- Anthropic: कहता है कि Claude-SearchBot या Claude-User को अवरुद्ध करने से एक साइट की उपयोगकर्ता खोज परिणामों में दृश्यता कम हो सकती है।
- उपयोगकर्ता-प्रेरित फ़ेचर्स भिन्न होते हैं: OpenAI का कहना है कि robots.txt नियम ChatGPT-User पर लागू नहीं हो सकते हैं, और Perplexity का कहना है कि Perplexity-User आमतौर पर उन्हें अनदेखा करता है, क्योंकि एक उपयोगकर्ता ने फ़ेच का अनुरोध किया। Anthropic का कहना है कि साइट के मालिक Claude-User को नियंत्रित करने के लिए robots.txt का उपयोग कर सकते हैं।
एआई संदर्भों को ट्रैक करने वाली एसईओ टीमों के लिए, "सभी एआई बॉट्स को अवरुद्ध करें" नियम एक साइट को एआई उत्तरों से हटा सकता है, न केवल प्रशिक्षण डेटा से।
एआई क्रॉलिंग कितनी है
Cloudflare ने जुलाई 2025 में रिपोर्ट किया कि GPTBot का एआई-केवल क्रॉलर ट्रैफ़िक का हिस्सा मई 2024 और मई 2025 के बीच 5% से 30% तक बढ़ गया, जबकि ClaudeBot का हिस्सा 21% था। उसी दिन, Cloudflare ने घोषणा की कि यह डिफ़ॉल्ट रूप से बिना अनुमति के सामग्री तक पहुँचने वाले एआई क्रॉलरों को अवरुद्ध करेगा, और हर नए डोमेन से पूछेगा कि क्या उन्हें अनुमति दी जाए।
वेब स्क्रैपिंग के लिए इसका क्या मतलब है
- एक बॉट का नाम कुछ भी साबित नहीं करता: कोई भी क्लाइंट अपने User-Agent हेडर में एक एआई क्रॉलर का नाम भेज सकता है, इसलिए साइटें जो परवाह करती हैं, उन्हें स्ट्रिंग से अधिक जांच करनी चाहिए।
- अपने स्वयं के टोकन के लिए नियम पढ़ें: robots.txt प्रत्येक क्रॉलर के लिए विभिन्न नियम सेट कर सकता है, इसलिए उस समूह की जांच करें जो आपके उपयोगकर्ता एजेंट पर लागू होता है, न कि केवल एआई बॉट्स पर।
- एआई-संबंधित ट्रैफ़िक पर अधिक अवरोध की अपेक्षा करें: Cloudflare जैसे नेटवर्क पर डिफ़ॉल्ट अवरोध के साथ, एआई परियोजनाओं के लिए डेटा पाइपलाइनों को अस्वीकृत अनुरोधों के लिए योजना बनानी चाहिए और उनका सम्मान करना चाहिए।