ایک AI ویب کرالر ایک ایسا کرالر ہے جو AI کمپنی کے ذریعہ ویب مواد جمع کرنے کے لئے چلایا جاتا ہے تاکہ زبان ماڈلز کی تربیت یا حقیقی وقت کی بازیابی کو طاقتور بنایا جا سکے، جو روایتی سرچ انجن کرالرز سے مقصد میں مختلف ہے۔ مثالوں میں OpenAI کا GPTBot اور Anthropic کا ClaudeBot شامل ہیں؛ گوگل اس کے بجائے Google-Extended پیش کرتا ہے، جو ایک robots.txt ٹوکن ہے جو ناشرین کو کنٹرول کرنے کی اجازت دیتا ہے کہ آیا گوگل کے موجودہ کرالرز کے ذریعہ جمع کردہ مواد کو Gemini ماڈلز کی تربیت کے لئے استعمال کیا جا سکتا ہے۔

OpenAI، Anthropic اور Perplexity ہر ایک مختلف کاموں کے ساتھ کئی بوٹس چلاتے ہیں، لہذا "AI کرالر" تین قسم کی ٹریفک کا احاطہ کرتا ہے: کرالر جو تربیتی ڈیٹا جمع کرتے ہیں، کرالر جو AI سرچ کے لئے ایک انڈیکس بناتے ہیں، اور fetchers جو کسی صفحے پر جاتے ہیں کیونکہ کسی صارف نے سوال پوچھا۔

AI بوٹس کی تین اقسام

  1. تربیتی کرالر: صفحات جمع کرتے ہیں جو ماڈلز کی تربیت کے لئے استعمال ہو سکتے ہیں، جیسے GPTBot اور ClaudeBot۔
  2. سرچ کرالر: صفحات کو انڈیکس کرتے ہیں تاکہ وہ AI سرچ کے جوابات میں ظاہر ہو سکیں، جیسے OAI-SearchBot، Claude-SearchBot اور PerplexityBot۔ Perplexity کہتا ہے کہ PerplexityBot تربیتی ڈیٹا جمع کرنے کے لئے استعمال نہیں ہوتا۔
  3. صارف کے ذریعہ متحرک fetchers: جب کوئی شخص اسسٹنٹ سے کچھ پوچھتا ہے تو حقیقی وقت میں ایک صفحہ لوڈ کرتے ہیں، جیسے ChatGPT-User، Claude-User اور Perplexity-User۔

کمپنی کے لحاظ سے AI بوٹس

کمپنیتربیتسرچصارف کے ذریعہ متحرک
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity(کوئی درج نہیں)PerplexityBotPerplexity-User

گوگل ایک مختلف نقطہ نظر اختیار کرتا ہے۔ Google-Extended کا کوئی الگ صارف ایجنٹ نہیں ہے: یہ ایک کنٹرول ٹوکن ہے جو گراؤنڈنگ کا بھی احاطہ کرتا ہے، جہاں گوگل سرچ کا مواد جیمنی ماڈلز کو پرامپٹ کے وقت دیا جاتا ہے۔ گوگل کہتا ہے کہ یہ گوگل سرچ میں شمولیت یا درجہ بندی پر اثر انداز نہیں ہوتا۔

تربیت کو بلاک کرنا AI سرچ کو بلاک کرنے کی ضرورت نہیں

ہر کمپنی ان بوٹس کو علیحدہ سوئچز کے طور پر دیکھتی ہے:

  • OpenAI: کہتا ہے کہ ہر سیٹنگ آزاد ہے، لہذا ایک سائٹ OAI-SearchBot کو ChatGPT سرچ میں ظاہر ہونے کی اجازت دے سکتی ہے جبکہ GPTBot کو منع کر سکتی ہے۔
  • Anthropic: کہتا ہے کہ Claude-SearchBot یا Claude-User کو بلاک کرنے سے کسی سائٹ کی صارف سرچ کے نتائج میں نظر آنے کی صلاحیت کم ہو سکتی ہے۔
  • صارف کے ذریعہ متحرک fetchers مختلف ہیں: OpenAI کہتا ہے کہ robots.txt کے قواعد ChatGPT-User پر لاگو نہیں ہو سکتے، اور Perplexity کہتا ہے کہ Perplexity-User عام طور پر انہیں نظر انداز کرتا ہے، کیونکہ کسی صارف نے fetch کی درخواست کی۔ Anthropic کہتا ہے کہ سائٹ کے مالکان Claude-User کو کنٹرول کرنے کے لئے robots.txt کا استعمال کر سکتے ہیں۔

SEO ٹیموں کے لئے جو AI حوالوں کی نگرانی کر رہی ہیں، "تمام AI بوٹس کو بلاک کریں" کا عمومی قاعدہ کسی سائٹ کو AI جوابات سے ہٹا سکتا ہے، نہ صرف تربیتی ڈیٹا سے۔

AI کرالرنگ کی مقدار

Cloudflare نے جولائی 2025 میں رپورٹ کیا کہ GPTBot کا AI صرف کرالر ٹریفک میں حصہ مئی 2024 سے مئی 2025 کے درمیان 5% سے 30% تک بڑھ گیا، جبکہ ClaudeBot کا حصہ 21% تھا۔ اسی دن، Cloudflare نے اعلان کیا کہ وہ بغیر اجازت کے مواد تک رسائی کرنے والے AI کرالرز کو ڈیفالٹ کے طور پر بلاک کرے گا، اور ہر نئے ڈومین سے پوچھے گا کہ آیا انہیں اجازت دی جائے۔

ویب اسکریپنگ کے لئے اس کا کیا مطلب ہے

  • ایک بوٹ کا نام کچھ ثابت نہیں کرتا: کوئی بھی کلائنٹ AI کرالر کا نام اپنے User-Agent ہیڈر میں بھیج سکتا ہے، لہذا ایسی سائٹس جو اہمیت رکھتی ہیں انہیں صرف سٹرنگ سے زیادہ چیک کرنا چاہئے۔
  • اپنے ٹوکن کے لئے قواعد پڑھیں: robots.txt ہر کرالر کے لئے مختلف قواعد مرتب کر سکتا ہے، لہذا اپنے صارف ایجنٹ کے لئے لاگو ہونے والے گروپ کو چیک کریں، نہ کہ صرف AI بوٹس۔
  • AI سے متعلق ٹریفک پر مزید بلاک کی توقع کریں: Cloudflare جیسے نیٹ ورکس پر ڈیفالٹ بلاکنگ کے ساتھ، AI پروجیکٹس کے لئے ڈیٹا پائپ لائنز کو مسترد کردہ درخواستوں کے لئے منصوبہ بندی کرنی چاہئے اور ان کا احترام کرنا چاہئے۔

متعلقہ اصطلاحات