تدوير User-Agent هو ممارسة التبديل بين مجموعة متنوعة من سلاسل User-Agent الواقعية عبر الطلبات، بدلاً من إرسال نفس السلسلة بشكل متكرر، لجعل حركة المرور الآلية تبدو أكثر مثل مجموعة متنوعة من الزوار الحقيقيين.
إنه يغير رأس طلب واحد، وهو الذي يسمي المتصفح ونظام التشغيل والإصدار. لا يغير عنوان IP الخاص بك، أو مصافحة TLS، أو رؤوس HTTP الأخرى التي يرسلها العميل، لذا فإنه يعمل فقط عندما تخبر تلك الأمور نفس القصة.
كيف يعمل تدوير User-Agent
- بناء مجموعة: جمع السلاسل الحالية من المتصفحات الحقيقية، متطابقة مع الأجهزة التي تريد أن تبدو مثلها.
- اختر واحدة: اختر سلسلة لكل طلب، أو احتفظ بواحدة لكل جلسة حتى لا يتبدل زائر واحد بين المتصفحات بين الصفحات.
- تطابق البقية: أرسل الرؤوس الأخرى التي يرسلها المتصفح، بنفس الشكل.
- تحديث المجموعة: المتصفحات تتحديث كثيرًا، وأرقام الإصدارات القديمة تبرز.
لماذا تبرز User-Agents الافتراضية
أدوات HTTP الشائعة تعلن عن نفسها ما لم تغير الرأس. curl يرسل curl/ بالإضافة إلى إصداره، مثل curl/7.54.1، وScrapy الافتراضي هو Scrapy/VERSION (+https://scrapy.org). أحيانًا تقرر الخوادم كيفية الرد بناءً على هذا الرأس.
كيف يبدو User-Agent حديث من Chrome
الآن يرسل Chrome سلسلة User-Agent مختصرة. إزالة User-Agent تزيل إصدار نظام التشغيل الدقيق، وطراز الجهاز وإصدار المتصفح الفرعي. يبقى الإصدار الرئيسي، وأرقام الإصدار الفرعي دائمًا 0.0.0.
- قبل:
Mozilla/5.0 (Linux; Android 16; Pixel 9) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/143.0.12.45 Mobile Safari/537.36 - بعد:
Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/143.0.0.0 Mobile Safari/537.36
جزء المنصة متجمد أيضًا: Windows NT 10.0; Win64; x64 على Windows، Macintosh; Intel Mac OS X 10_15_7 على macOS، وAndroid 10; K على Android. بدأ Chrome في شحن الإصدار الفرعي 0.0.0 في Chrome 101، وانتهت التجربة التي سمحت للمواقع بالاحتفاظ بالسلسلة الكاملة في سبتمبر 2023. قائمة التدوير المليئة بسلاسل Chrome مع أرقام البناء الحقيقية، أو مع طراز Android دقيق، تصف متصفحات لم تعد موجودة.
الحفاظ على تناسق الإشارات الأخرى
- تلميحات العميل: يرسل Chrome
Sec-CH-UA،Sec-CH-UA-MobileوSec-CH-UA-Platformبشكل افتراضي على صفحات HTTPS. تكرر العلامة التجارية، الإصدار الرئيسي، المنصة وعلم الهاتف المحمول، لذا يجب أن تتفق مع User-Agent. تشير MDN إلى أن هذه الرؤوس لا تعمل في بعض المتصفحات المستخدمة على نطاق واسع، لذا يجب ألا تحمل السلسلة التي تدعي أنها واحدة من تلك الرؤوس. - الإشارات القابلة للتحقق: تسرد OWASP تلميحات العميل كإشارة معلنة يمكن التحقق منها مقابل بصمة TLS.
- مصافحة TLS: يمكن أن تستخدم أنظمة مكافحة الروبوتات إشارات لا تغيرها سلسلة User-Agent، مثل بصمة TLS (JA3 أو JA4)، التي تحدد عميلًا من خلال كيفية بدء اتصال TLS.
التدوير يسقط اسم تطابق robots.txt
تُجمع قواعد robots.txt حسب رمز منتج الزاحف، مثل ExampleBot. تقول RFC 9309 أن هذا الرمز يجب أن يظهر في User-Agent الذي يرسله الزاحف، كما في Mozilla/5.0 (compatible; ExampleBot/0.1; https://www.example.com/bot.html). الروبوت الذي يتناوب بين سلاسل المتصفح يسقط ذلك الرمز، لذا لا يمكن للموقع معرفة أي روبوت يزور أو التحقق من حركته مقابل القواعد المكتوبة له. التدوير لا يغير أيضًا القواعد التي تنطبق: رمز الزاحف الخاص يختار مجموعته، أو مجموعة user-agent: * إذا لم يذكر أي منها.
لا تثق المواقع أيضًا في الرأس بمفرده. تقول Google إن User-Agent الخاص بـ Googlebot غالبًا ما يتم تقليده وتوصي بالتحقق من IP الزاحف باستخدام بحث DNS عكسي أو ضد نطاقات IP المنشورة بدلاً من ذلك.
- استخدم السلاسل الحالية: بالنسبة لـ Chrome، يعني ذلك التنسيق المختصر مع
0.0.0الإصدارات الفرعية والقيم الثابتة للمنصة. - قم بتدوير الملفات الشخصية بالكامل: قم بتغيير User-Agent مع تلميحات العميل والرؤوس الأخرى، وخصص كل ملف شخصي مع عنوان IP واحد لجلسة بدلاً من خلطها.
- قرر كيف تحدد نفسك: يجب على الزاحف الذي يجب أن يتبع قواعد robots.txt المسماة أن يكون لديه رمز منتج ثابت في User-Agent الخاص به. تدويره بعيدًا لا يغير القواعد التي تنطبق عليك.