كشف الروبوتات هو عملية تحديد ما إذا كان حركة المرور إلى موقع ويب أو تطبيق أو واجهة برمجة التطبيقات تأتي من برنامج آلي أو إنسان. كما أنه يفصل بين الروبوتات الضارة والشرعية، مثل زواحف محركات البحث. تقوم أنظمة الكشف بتقييم الإشارات من الشبكة وسلوك العميل والمستخدم. تحدد النتيجة ما إذا كان الطلب مسموحًا به، مُتحديًا أو محجوبًا.

طبقات كشف الروبوتات

  • إشارات مستوى الشبكة: سمعة IP، تصفية ASN
  • إشارات مستوى العميل: بصمات TLS والمتصفح، اتساق الرأس
  • الإشارات السلوكية: بيانات سلوكية، حدود معدل واعية للجلسة

يمكن أن يتم الإشارة إلى الطلب الذي يمر عبر طبقة واحدة بواسطة أخرى.

يمكن التحقق من بعض الإشارات ضد بعضها البعض. تشير OWASP إلى أن رؤوس تلميحات العميل يتم إعلانها من قبل العميل ولكن يمكن التحقق منها مقابل بصمة TLS الخاصة به.

التحقق من الروبوتات الجيدة

ليس كل حركة المرور الآلية غير مرغوب فيها. على سبيل المثال، تقوم زواحف محركات البحث بجلب الصفحات حتى تظهر في نتائج البحث. نظرًا لأن أي روبوت يمكنه الادعاء بأنه زاحف في User-Agent، تتحقق المواقع من عنوان IP بدلاً من ذلك. توثق Google طريقتين للتحقق من Googlebot:

  • التحقق من DNS: قم بإجراء بحث عكسي عن DNS على عنوان IP. تأكد من أن اسم المضيف ينتهي بـ googlebot.com أو google.com أو googleusercontent.com. ثم قم بإجراء بحث أمامي وتأكد من أنه يعيد عنوان IP الأصلي.
  • نطاقات IP: قارن عنوان IP بالقوائم الخاصة بنطاقات IP الخاصة بالزواحف التي تنشرها Google بتنسيق JSON.

التهديدات التي تستهدفها كشف الروبوتات

يسمي مشروع OWASP التهديدات الآلية لتطبيقات الويب 21 تهديدًا آليًا. تشمل الأمثلة:

  • تعبئة بيانات الاعتماد (OAT-008): محاولات تسجيل دخول جماعية تختبر أزواج أسماء المستخدمين وكلمات المرور المسروقة.
  • التجريف (OAT-011): جمع محتوى التطبيق أو بيانات أخرى لاستخدامها في مكان آخر.
  • التحصيل (OAT-005): الحصول على سلع وخدمات ذات توفر محدود أو مفضلة بطرق غير عادلة.
  • إنشاء حسابات (OAT-019): إنشاء العديد من الحسابات للاستخدام لاحقًا.

المصطلحات ذات الصلة