زاحف الويب المدعوم بالذكاء الاصطناعي هو زاحف تديره شركة ذكاء اصطناعي لجمع محتوى الويب من أجل تدريب نماذج اللغة أو تمكين الاسترجاع في الوقت الحقيقي، وهو مختلف عن زواحف محركات البحث التقليدية من حيث الغرض. تشمل الأمثلة على ذلك GPTBot من OpenAI وClaudeBot من Anthropic؛ بينما تقدم Google بدلاً من ذلك Google-Extended، وهو رمز robots.txt يسمح للناشرين بالتحكم فيما إذا كان يمكن استخدام المحتوى الذي تجمعه زواحف Google الحالية لتدريب نماذج Gemini.
تشغل OpenAI وAnthropic وPerplexity كل منها عدة روبوتات بأعمال مختلفة، لذا فإن "زاحف الذكاء الاصطناعي" يغطي ثلاثة أنواع من الحركة: الزواحف التي تجمع بيانات التدريب، والزواحف التي تبني فهرسًا للبحث بالذكاء الاصطناعي، والمسترجعين الذين يزورون صفحة لأن المستخدم طرح سؤالاً.
ثلاثة أنواع من روبوتات الذكاء الاصطناعي
- زواحف التدريب: تجمع الصفحات التي قد تُستخدم لتدريب النماذج، مثل GPTBot وClaudeBot.
- زواحف البحث: تفهرس الصفحات حتى تظهر في إجابات البحث بالذكاء الاصطناعي، مثل OAI-SearchBot وClaude-SearchBot وPerplexityBot. تقول Perplexity إن PerplexityBot لا يُستخدم لجمع بيانات التدريب.
- المسترجعون المدفوعون من قبل المستخدم: يقومون بتحميل صفحة في الوقت الحقيقي عندما يسأل شخص ما المساعد شيئًا، مثل ChatGPT-User وClaude-User وPerplexity-User.
روبوتات الذكاء الاصطناعي حسب الشركة
| الشركة | التدريب | البحث | المسترجع المدفوع من قبل المستخدم |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | (لا توجد بيانات مدرجة) | PerplexityBot | Perplexity-User |
تتبع Google نهجًا مختلفًا. لا يحتوي Google-Extended على وكيل مستخدم منفصل: إنه رمز تحكم يغطي أيضًا الأساس، حيث يتم تقديم محتوى بحث Google لنماذج Gemini في وقت الطلب. تقول Google إنها لا تؤثر على الإدراج أو الترتيب في بحث Google.
حظر التدريب لا يجب أن يمنع البحث بالذكاء الاصطناعي
تعامل كل شركة هذه الروبوتات كمفاتيح منفصلة:
- OpenAI: تقول إن كل إعداد مستقل، لذا يمكن لموقع ما السماح لـ OAI-SearchBot بالظهور في بحث ChatGPT بينما يمنع GPTBot.
- Anthropic: تقول إن حظر Claude-SearchBot أو Claude-User قد يقلل من رؤية الموقع في نتائج بحث المستخدم.
- تختلف المسترجعات المدفوعة من قبل المستخدم: تقول OpenAI إن قواعد robots.txt قد لا تنطبق على ChatGPT-User، وتقول Perplexity إن Perplexity-User يتجاهلها عمومًا، لأن المستخدم طلب الاسترجاع. تقول Anthropic إن مالكي المواقع يمكنهم استخدام robots.txt للتحكم في Claude-User.
بالنسبة لفرق تحسين محركات البحث التي تتعقب اقتباسات الذكاء الاصطناعي، يمكن أن يؤدي قاعدة "حظر جميع روبوتات الذكاء الاصطناعي" إلى إزالة موقع من إجابات الذكاء الاصطناعي، وليس فقط من بيانات التدريب.
مدى زحف الذكاء الاصطناعي
أفادت Cloudflare في يوليو 2025 أن حصة GPTBot من حركة الزاحف المخصصة للذكاء الاصطناعي ارتفعت من 5% إلى 30% بين مايو 2024 ومايو 2025، مع وجود ClaudeBot عند 21%. في نفس اليوم، أعلنت Cloudflare أنها ستقوم بحظر زواحف الذكاء الاصطناعي التي تصل إلى المحتوى بدون إذن بشكل افتراضي، وستسأل كل نطاق جديد عما إذا كان يجب السماح لهم.
ماذا يعني ذلك لزحف الويب
- اسم الروبوت لا يثبت شيئًا: يمكن لأي عميل إرسال اسم زاحف الذكاء الاصطناعي في رأس User-Agent، لذا يجب على المواقع التي تهتم التحقق من أكثر من السلسلة.
- اقرأ القواعد لرمزك الخاص: يمكن أن تحدد robots.txt قواعد مختلفة لكل زاحف، لذا تحقق من المجموعة التي تنطبق على وكيل المستخدم الخاص بك، وليس فقط زواحف الذكاء الاصطناعي.
- توقع المزيد من الحظر على حركة المرور المتعلقة بالذكاء الاصطناعي: مع الحظر الافتراضي على الشبكات مثل Cloudflare، يجب أن تخطط خطوط البيانات لمشاريع الذكاء الاصطناعي لطلبات مرفوضة واحترامها.