أفضل ممارسات تحديد معدل الوصول للبرامج الآلية

يمكن أن تحدد حدود معدل الطلب ما إذا كانت عملية جمع البيانات ستظل مستقرة أو ستنهار تحت وطأة الحظر، وإعادة المحاولات، وارتفاع التكاليف. عندما يكون إيقاع الطلبات عدوانيًا جدًا، يقوم المجمعون بتفعيل استجابات 429، وحظر 403، وصفحات CAPTCHA، ووقت الانتظار، والحظر الناعم. وعندما يكون الإيقاع محافظًا جدًا، تصبح البيانات قديمة وتبقى البنية التحتية غير مستخدمة.
بالنسبة للفرق التي تدير متتبعات الأسعار، وزواحف تحسين محركات البحث، ومراقبة المنافسة، والتحقق من أسعار السفر، والتحقق من الإعلانات، أو خطوط بيانات الذكاء الاصطناعي، فإن تحديد معدل الطلب ليس مجرد إعداد تقني. إنها استراتيجية تشغيلية تحمي معدل النجاح، وجودة البيانات، وتكاليف البنية التحتية، واستقرار الموقع المستهدف.
تشمل أفضل الممارسات لتحديد معدل الطلب للمجمعين وضع حدود لكل نطاق، وكل مسار، وكل وكيل، وكل جلسة؛ إضافة بعض التذبذب؛ استخدام التراجع التكيفي؛ احترام إشارات تحديد معدل الطلب؛ مراقبة معدل الحظر والكمون؛ وضبط بناءً على التكلفة لكل طلب ناجح.
يجب ألا يعمل المجمع بشكل أسرع ما يمكن. يجب أن يعمل بأسرع ما يمكن مع الاستمرار في إرجاع بيانات صالحة بتكلفة متوقعة.
ما هو تحديد معدل الطلب في جمع البيانات؟
تحديد معدل الطلب هو التحكم في عدد الطلبات التي يرسلها المجمع، ومدى سرعة إرسالها، وكيفية استجابته عندما يبدأ الهدف في إظهار الضغط أو الاحتكاك.
في جمع البيانات، عادةً ما يتحكم تحديد معدل الطلب في:
- الطلبات في الثانية
- الطلبات المتزامنة
- الطلبات لكل وكيل
- الطلبات لكل جلسة
- الطلبات لكل نطاق
- الطلبات لكل نوع مسار
- تكرار إعادة المحاولة
- فترات التهدئة بعد الحظر
- جداول الزحف عبر الزمن
يمكن أن يرسل المجمع حركة المرور عبر وكلاء جمع البيانات، أو أتمتة المتصفح، أو عملاء HTTP، أو نقاط النهاية الشبيهة بواجهة برمجة التطبيقات. بغض النظر عن الهيكل التقني، يجب إدارة إيقاع الطلب.
بدون تحديد معدل الطلب، حتى المجمع المبني بشكل جيد يمكن أن يبدو مسيئًا، ويزيد من تحميل الأنظمة المستهدفة، أو يدمر كفاءته من حيث التكلفة من خلال إعادة المحاولات والحظر.
لماذا يعتبر تحديد معدل الطلب مهمًا
يؤثر تحديد معدل الطلب على أربعة نتائج رئيسية: الوصول، والتكلفة، والحداثة، وجودة البيانات.
يمكن أن يتسبب تحديد معدل الطلب الضعيف في:
- استجابات 429 عدد الطلبات الزائد
- أخطاء 403 محظور
- صفحات CAPTCHA أو التحدي
- حظر Cloudflare
- إعادة تعيين الاتصال
- عمق إعادة المحاولة العالي
- فشل الجلسات
- بيانات خاطئة أو غير مكتملة
- زيادة الإنفاق على الوكلاء
- تقارير قديمة
يساعد تحديد معدل الطلب القوي الفرق في:
- تقليل معدل الحظر
- تحسين معدل النجاح
- حماية بقاء الجلسة
- خفض CPSR
- استقرار نوافذ الزحف
- تقليل الحظر الناعم
- تجنب عواصف إعادة المحاولة
- جمع بيانات أنظف
CPSR يعني التكلفة لكل طلب ناجح.
بعبارات بسيطة: يخبرك CPSR بكم يكلف كل نتيجة صالحة بعد إنفاق الوكيل، والحساب، وعرض المتصفح، وإعادة المحاولات، والمحاولات الفاشلة.
المجمع الأسرع ليس أفضل إذا كانت السرعة الإضافية تزيد من CPSR وتقلل من جودة البيانات.
المفاهيم الأساسية: RPS، التزامن، والهوية
قبل وضع الحدود، افهم الضوابط الثلاثة الرئيسية.
الطلبات في الثانية
الطلبات في الثانية، أو RPS، تقيس عدد الطلبات الجديدة التي تبدأ في غضون ثانية. يقوم المجمع الذي يعمل بسرعة 5 RPS ببدء خمس طلبات في الثانية.
RPS يتحكم في الإيقاع.
التزامن
التزامن يقيس عدد الطلبات التي قيد التقدم في نفس الوقت. قد يبدأ المجمع طلبًا واحدًا فقط في الثانية ولكن لا يزال لديه 20 طلبًا متزامنًا إذا كانت الصفحات بطيئة.
التزامن يتحكم في الضغط.
الهوية
غالبًا ما تحدد المواقع حركة المرور حسب الهوية، وليس فقط حسب النطاق. قد تشمل الهوية:
- عنوان IP
- نقطة نهاية الوكيل
- الشبكة الفرعية
- ASN
- ملف تعريف الجلسة
- الحساب
- ملف تعريف المتصفح
- بصمة الجهاز
- المسار الجغرافي
قد لا يزال حد معدل الطلب الذي يتحكم فقط في RPS العالمي يفرط في تحميل وكيل واحد، أو جلسة واحدة، أو مسار واحد. تحتاج المجمعات الإنتاجية إلى حدود حسب الهوية والهدف.
إجابة سريعة: أفضل استراتيجية لتحديد معدل الطلب للمجمعين
أفضل استراتيجية افتراضية هي:
- استخدم دلو الرموز أو محدد مشابه لسرعة الطلب المتوسطة.
- أضف حدود التزامن لكل مجال، مسار، وهوية.
- أضف جتر لتجنب التوقيت المثالي للآلة.
- تراجع بسرعة عند 429، 403، صفحات CAPTCHA، التحديات، وزيادة الكمون.
- استخدم جلسات ثابتة لعمليات العمل التي تتطلب ملفات تعريف الارتباط أو الاستمرارية متعددة الخطوات.
- تتبع معدل النجاح، معدل الحظر، عمق إعادة المحاولة، الكمون، بقاء الجلسة، وCPSR.
- زيادة السرعة تدريجياً فقط بعد النوافذ المستقرة.
الهدف هو التحكم في التدفق، وليس الحد الأقصى للتدفق.
تحديد المعدل حسب المجال، المسار، والهوية
خطأ شائع هو تطبيق حد عالمي واحد عبر كل هدف.
إعداد أفضل يستخدم طبقات حدود متعددة.
حدود لكل مجال
تمنع حدود كل مجال موقع الهدف من تلقي الكثير من الحركة.
مثال:
example.com: الحد الأقصى 2 RPSstore.example.com: الحد الأقصى 1 RPSapi.example.com: الحد الأقصى 0.5 RPS
هذا يحمي استقرار الهدف المحدد.
حدود لكل مسار
ليس كل الصفحات لها نفس الحساسية.
قد تتحمل صفحات المنتجات وتيرة واحدة. قد تتطلب صفحات البحث، ومسارات الدفع، وصفحات تسجيل الدخول، ونقاط نهاية المخزون وتيرة أبطأ بكثير.
أمثلة على فئات المسار الأكثر صرامة:
/search/availability/cart/checkout/login- نقاط نهاية API الديناميكية
- صفحات النتائج المعروضة بواسطة JavaScript
حدود لكل هوية
إذا كنت تستخدم البروكسيات، يجب أن يكون لكل بروكسي أو جلسة حد خاص بها.
يجب على الكاشف الذي يستخدم بروكسيات مركز البيانات، بروكسيات سكنية، أو مسارات ISP تجنب دفع الكثير من الحركة من خلال هوية واحدة.
تساعد حدود الهوية في الحفاظ على سمعة البروكسي وتقليل الكتل المتجمعة.
دلو الرموز مقابل دلو متسرب مقابل نافذة ثابتة
تعمل أنواع محددات مختلفة بشكل أفضل لأحمال العمل المختلفة.
| نوع المحدد | الأفضل لـ | القوة | الضعف | | | ---------------- | ------------------------- | ----------------------------------------------------- | ---------------------------------------------- | | | دلو الرموز | معظم خطوط الكشط | يسمح بانفجارات محكومة مع فرض متوسط السرعة | يمكن أن يرتفع إذا تم تكوينه بشكل عدواني للغاية | | دلو متسرب | حركة مرور سلسة وثابتة | مخرجات متوقعة جداً | قد يستخدم السعة بشكل غير كافٍ خلال النوافذ الآمنة | | نافذة ثابتة | السكربتات البسيطة والتجريب | سهل التنفيذ | يمكن أن يخلق انفجارات حدودية | | نافذة منزلقة | تحكم أكثر دقة في المعدل | أفضل من النوافذ الثابتة من حيث العدالة | أكثر تعقيدًا قليلاً | | محدد متكيف | الكاشطات الإنتاجية | يستجيب للتغذية الراجعة الحية | يتطلب مقاييس جيدة |
بالنسبة لمعظم الكاشطات، يعد دلو الرموز بالإضافة إلى حدود التزامن والتراجع التكيفي نقطة انطلاق قوية.
حدود البداية لأحمال العمل المختلفة
لا يوجد معدل آمن عالمي. ابدأ بحذر، ثم قم بضبطه باستخدام المقاييس.
| الحمل | نقطة البداية المقترحة | | | ------------------------ | -------------------------------------------------- | | | صفحات HTML العامة الثابتة | 1–2 RPS لكل هوية، 2–4 تزامن لكل مجال | | صفحات تفاصيل المنتج | 0.5–1 RPS لكل هوية، 1–3 تزامن لكل مجال | | صفحات نتائج البحث | 0.2–0.8 RPS لكل هوية، حدود مسار صارمة | | الصفحات الثقيلة على JavaScript | 0.2–0.5 RPS لكل هوية، 1–2 جلسات متصفح | | عمليات تسجيل الدخول أو الحسابات | وتيرة منخفضة، جلسات ثابتة/ثابتة | | فحوصات SEO المحلية | وتيرة منخفضة إلى متوسطة حسب الموقع والجلسة | | فحوصات أسعار السفر | وتيرة منخفضة، فترات استراحة أطول، حدود إعادة صارمة
هذه نقاط انطلاق، وليست إعدادات دائمة. المعدل الصحيح هو الذي ينتج مخرجات صحيحة بمعدل CPSR مقبول.
تحديد معدل التكيف
تحديد معدل التكيف يغير وتيرة الطلبات بناءً على إشارات حية.
بدلاً من استخدام قيم ثابتة إلى الأبد، يراقب الكاشف المقاييس ويعدل.
تشمل الإشارات المفيدة:
- معدل 429
- معدل 403
- معدل CAPTCHA
- معدل التحدي
- زمن الاستجابة p95
- معدل انتهاء المهلة
- عمق إعادة المحاولة
- بقاء الجلسة
- معدل الحظر الناعم
- معدل المحتوى الصالح
حلقة تكيف بسيطة:
- ابدأ بحدود محافظة.
- قياس النتائج لفترة ثابتة.
- إذا ارتفع معدل الحظر، قلل RPS والتزامن.
- إذا ارتفعت زمن الاستجابة، قلل التزامن أولاً.
- إذا زادت إعادة المحاولات، توقف أو خفف من الطرق المتأثرة.
- إذا ظلت عدة نوافذ مستقرة، زد RPS ببطء.
- توقف عن الزيادة عندما تسوء CPSR.
هذا يمنع الكاشف من رد الفعل المفرط تجاه فشل واحد ولكنه لا يزال يستجيب بسرعة للاحتكاك الحقيقي.
كيفية الاستجابة لأخطاء 429
استجابة 429 عدد كبير جداً من الطلبات هي أوضح إشارة لتحديد المعدل.
عندما ترى 429:
- احترم
Retry-Afterالرؤوس عند وجودها - توقف عن إعادة المحاولة على الفور
- قلل RPS لذلك الهوية
- قلل التزامن الخاص بالمسار
- أضف تراجع أسي
- أضف تباين
- خفف من الطريق المتأثر
- راقب ما إذا كانت 429 تتجمع حسب النطاق أو IP أو المسار أو الحساب
لا تعامل 429 كإعادة محاولة عادية. إنها ملاحظات بأن الكاشف يتحرك بسرعة كبيرة لذلك المسار أو نقطة النهاية.
لإصلاح أوسع، راجع أخطاء البروكسي الشائعة وكيفية إصلاحها.
كيفية الاستجابة لأخطاء 403
قد تشير 403 إلى قواعد الوصول، سمعة IP، كشف الروبوتات، حالة الجلسة المفقودة، أو ضغط حركة المرور المفرط.
عندما تزداد 403:
- قلل التزامن
- افحص جسم الاستجابة
- تحقق مما إذا كانت الصفحة محجوبة أو محجوبة بشكل ناعم
- تحقق من الرؤوس والكوكيز
- قارن طرق البروكسي
- تحقق من التناسق الجغرافي والمحلي
- راجع ما إذا كان المسار المستهدف مسموحًا
- تجنب عواصف إعادة المحاولة
إذا انخفضت 403 بشكل حاد بعد التباطؤ، فمن المحتمل أن تكون المعدلات والتزامن عوامل مساهمة.
للحصول على إرشادات أعمق، راجع فهم أخطاء 403 في الكشط.
تحديد المعدل وكتل Cloudflare
قد تطبق المواقع المحمية بواسطة Cloudflare قواعد WAF، إدارة الروبوتات، حدود المعدل، سياسات جغرافية، وتحديات المتصفح. تحديد المعدل هو جزء واحد فقط من الحل، ولكنه غالبًا ما يكون أول شيء لتحسينه.
عندما ترتفع كتل Cloudflare:
- قم بتوزيع جداول العمل
- قلل معدل الطلب لكل مسار
- أضف تراجع بعد التحديات
- تجنب الضربات المباشرة للمسارات الحساسة
- استخدم التخزين المؤقت حيثما كان ذلك ممكنًا
- حافظ على استقرار الجلسات حيثما كان ذلك مطلوبًا
- تحقق من المحتوى المعاد
- قارن أنواع الطرق بعناية
لا تعتمد فقط على تبديل البروكسي العدواني. إذا كانت نمط الطلب هو المشكلة، فقد لا يحل تغيير IPs ذلك.
للحصول على تفاصيل ذات صلة، راجع كتل Cloudflare موضحة للمطورين.
التباين: لماذا تساعد العشوائية
توقيت مثالي للآلة سهل الكشف ويمكن أن يخلق ارتفاعات متزامنة.
التباين يعني إضافة تباين عشوائي صغير إلى توقيت الطلبات.
استخدم التباين لـ:
- فترات الطلب
- تأخيرات إعادة المحاولة
- بدء تشغيل العامل
- توقيت إعادة تعبئة الرموز
- نوافذ جدول الزحف
- انتظارات إجراء المتصفح
مثال:
بدلاً من إرسال طلب واحد بالضبط كل ثانية، أرسل الطلب التالي بعد تأخير عشوائي بين 0.8 و 1.2 ثانية.
يجب أن يكون التباين معتدلاً ومراقبًا. ليس المقصود منه تقليد سلوك الإنسان بشكل متهور. إنه ببساطة يمنع أنماط حركة المرور الحادة والمتزامنة.
استراتيجية التراجع
التراجع هو كيفية تباطؤ الكاشف بعد الأخطاء.
استراتيجية تراجع عملية:
- أعد المحاولة مرة واحدة للأخطاء الشبكية العابرة
- استخدم تراجعًا أسيًا لـ 429 و 5xx
- طبق فترات تباطؤ أطول بعد صفحات CAPTCHA أو التحديات
- حدد إجمالي محاولات إعادة المحاولة
- توقف عن إعادة المحاولة للأخطاء 403 المتكررة دون تشخيص
- وجه الفشل الصعب للمراجعة
منطق التراجع النموذجي:
Attempt 1: wait 2 seconds
Attempt 2: wait 4 seconds
Attempt 3: wait 8 seconds
Then stop or queue for later review
أضف تذبذبًا إلى كل وقت انتظار.
عادةً ما تؤدي المحاولات العميقة إلى زيادة CPSR وقد تؤدي إلى تفاقم الحظر.
تحديد معدل الوعي بالجلسة
تتبع تحديد معدل الوعي بالجلسة ليس فقط المجال ولكن أيضًا الجلسة.
هذا مهم لـ:
- تدفقات تسجيل الدخول
- السلالات
- اختبارات الخروج
- اختيار المتجر
- الترقيم
- فحوصات SERP المحلية
- التصفح الثقيل باستخدام JavaScript
- فحوصات متغيرات المنتج
إذا كانت الجلسة ذات قيمة، فلا overload لها.
تتبع:
- الصفحات لكل جلسة
- مدة الجلسة
- الحظر لكل جلسة
- عمق إعادة المحاولة لكل جلسة
- بقاء الجلسة
- تعيين الوكيل
- حالة الكوكي
إذا فشلت الجلسات مبكرًا، قلل من وتيرة الجلسة واعتبر استخدام المزيد من الجلسات بسرعة أقل بدلاً من دفع جلسة واحدة بشكل أقوى.
لرؤية سلوك التوجيه، انظر الوكالات المتغيرة مقابل الوكالات الثابتة.
استراتيجية الوكيل وتحديد المعدل
يؤثر نوع الوكيل على التوازن الآمن.
قد تدعم الوكالات من مراكز البيانات سرعة أعلى على الصفحات العامة المتسامحة، لكنها قد تواجه حظرًا أقوى على المواقع الموجهة للمستهلكين.
قد تحسن الوكالات السكنية الوصول ودقة الموقع، لكنها يجب أن تكون محددة المعدل بعناية.
قد تعمل الوكالات من مزودي خدمة الإنترنت بشكل جيد للجلسات المتكررة المستقرة.
قد تتطلب الوكالات المحمولة معدلات أقل بسبب التكلفة، والكمون، وسلوك الناقل.
استراتيجية جيدة توجه حسب عبء العمل:
| عبء العمل | مسار الوكيل | استراتيجية المعدل |
|---|---|---|
| الصفحات العامة الثابتة | مركز البيانات | معدل RPS معتدل، تزامن أعلى إذا تم التسامح معه |
| صفحات المنتجات | مركز البيانات أولاً، تراجع سكني | حدود محافظة لكل مجال |
| SEO المحلي | سكني | جلسات واعية بالموقع، انخفاض في الانفجارية |
| تدفقات تسجيل الدخول | مسار ثابت أو لزج | وتيرة منخفضة، استمرارية عالية للجلسة |
| صفحات حساسة لـ Cloudflare | سكني أو هجين | تراجع صارم وحدود المسار |
| أتمتة المتصفح الثقيلة | سكني أو ISP | تزامن منخفض، فترات تبريد أطول |
لاختيار نوع الوكيل، انظر مراكز البيانات مقابل الوكالات السكنية مقابل الوكالات من مزودي خدمة الإنترنت.
الحظر الناعم وحدود المعدل
يمكن أن يتم تحديد معدل الماسح دون تلقي 429.
تحدث الحظرات الناعمة عندما يعيد الخادم HTTP 200 ولكن المحتوى غير صالح أو غير مكتمل.
أمثلة:
- سعر المنتج مفقود
- نتائج SERP مفقودة
- قالب صفحة عام
- صفحة خاطئة المنطقة
- CAPTCHA مخفي في HTML
- بيانات المخزون فارغة
- استجابات متكررة متطابقة
- محتوى قديم
يجب أن يستجيب تحديد المعدل أيضًا للحظرات الناعمة. إذا زادت نسبة حظر الحظر الناعم، تباطأ، افحص عينات الفشل، وتحقق مما إذا كانت المشكلة تتعلق بالطريق، أو الجلسة، أو المسار، أو انحراف المحلل.
ما يجب قياسه
يجب ضبط تحديد المعدل من خلال المقاييس، وليس التخمينات.
| المقياس | لماذا هو مهم |
|---|---|
| معدل النجاح | يظهر المخرجات الصحيحة |
| معدل الحظر | يلتقط صفحات 403 و 429 و CAPTCHA وصفحات التحدي |
| معدل الحظر الناعم | يكشف المحتوى غير الصالح الذي تم إرجاعه كنجاح |
| CPSR | يقيس التكلفة لكل نتيجة ناجحة |
| عمق إعادة المحاولة | يظهر عدم الاستقرار الخفي |
| زمن الاستجابة P95 | يكشف ضغط الهدف أو المسار |
| معدل النقل | يقيس الصفحات الصالحة في الدقيقة |
| بقاء الجلسة | يظهر استقرار سير العمل متعدد الخطوات |
| دقة الموقع | يؤكد صحة الموقع الحساسة للموقع |
| تأخير الطابور | يظهر ما إذا كانت الحدود صارمة للغاية لأهداف الانتعاش |
قم بقياس هذه بواسطة المجال، نوع المسار، مسار الوكيل، المنطقة، وعامل الخادم. المعدلات المتوسطة تخفي المشاكل.
التحكم في التكاليف: تحسين CPSR، وليس السرعة الخام
قد يجمع الخادم المزيد من الصفحات في الدقيقة ولكنه لا يزال يكلف أكثر إذا زادت الحظر وإعادة المحاولات.
استخدم CPSR لمقارنة الإعدادات.
مثال:
- الإعداد A: 10,000 طلب، 70% نجاح، ارتفاع إعادة المحاولات
- الإعداد B: 7,000 طلب، 95% نجاح، انخفاض إعادة المحاولات
قد ينتج الإعداد B بيانات قابلة للاستخدام أكثر بتكلفة أقل على الرغم من أنه يرسل طلبات أقل.
أفضل حد للسرعة غالبًا ما يكون أقل من الحد الأقصى الذي يمكن للنظام إرساله تقنيًا.
سيناريو العالم الحقيقي: متتبع أسعار التجارة الإلكترونية
تجمع فريق مراقبة الأسعار أسعار المنتجات عبر 40 مجالًا للبيع بالتجزئة.
الإعداد القديم يقوم بتشغيل جميع المهام في بداية الساعة. تزداد الحظر، وتزداد إعادة المحاولات، وتختفي حقول الأسعار.
الإعداد المحسن:
- يوزع نوافذ الزحف
- يطبق حدود لكل مجال
- يطبق حدودًا أكثر صرامة على نقاط نهاية البحث
- يستخدم وكلاء سكنية لصفحات المنتجات الحساسة
- يضيف اهتزازًا وتراجعًا أسيًا
- يتحقق من السعر، العملة، والتوافر قبل تخزين البيانات
النتيجة هي عدد أقل من الحظر، بيانات أنظف، وتكلفة CPSR أقل.
سيناريو العالم الحقيقي: مجمع أسعار السفر
تجمع منصة السفر بيانات الأسعار والتوافر من صفحات غنية بـ JavaScript.
الإعداد القديم يقوم بتشغيل عدد كبير جدًا من جلسات المتصفح في وقت واحد. يرتفع زمن الاستجابة، تزداد مهلات الانتظار، وينخفض بقاء الجلسة.
الإعداد المحسن:
- يحد من تزامن المتصفح لكل هوية
- يضيف فترات راحة أطول بعد 403
- يفصل الصفحات العامة من صفحات النتائج الديناميكية
- يستخدم جلسات ثابتة لتدفقات البحث الكاملة
- يراقب زمن الاستجابة P95 وعمق إعادة المحاولة
يصبح سير العمل أبطأ لكل طلب ولكنه أسرع لكل نتيجة صالحة.
سيناريو العالم الحقيقي: مراقبة SEO المحلية
يجمع فريق SEO نتائج SERPs المحلية عبر مئات المواقع.
الإعداد القديم يستخدم نفس الجدول الزمني والمعدل لكل مدينة. بعض فحوصات المدينة تعيد حظرًا أو نتائج SERPs من مواقع خاطئة.
الإعداد المحسن:
- يستخدم قوائم انتظار محددة بالموقع
- يحد من الطلبات لكل مدينة ومسار وكيل
- يضيف اهتزازًا إلى الجداول
- يتحقق من إشارات المدينة في الحزمة المحلية
- يبطئ الأسواق ذات معدلات الحظر الأعلى
تصبح التقارير أكثر موثوقية لأن النظام يفصل حركة التصنيف عن عدم استقرار الجمع.
أوضاع الفشل الشائعة
التوسع التلقائي المتقطع
تبدأ العمال الجدد في نفس الوقت وتغمر المجالات المستهدفة.
الإصلاح: وزع بدء العمال واحتفظ بحالة المحدد عبر النشر.
حدود عالمية فقط
قد يبدو الحد العالمي آمنًا بينما يكون وكيل أو مسار واحد محملاً.
الإصلاح: طبق حدودًا لكل مجال، لكل مسار، ولكل هوية.
تجاهل حساسية المسار
قد تحتاج نقاط نهاية البحث، السلة، تسجيل الدخول، والتوافر إلى حدود أكثر صرامة من صفحات المنتجات.
الإصلاح: صنف المسارات وخصص محددات منفصلة.
زيادة السرعة بشكل مفرط
يمكن أن يؤدي زيادة RPS بسرعة كبيرة بعد نافذة مستقرة واحدة إلى حدوث تذبذب.
الإصلاح: قم بالزيادة ببطء واطلب عدة نوافذ مستقرة.
إعادة المحاولات العمياء
تؤدي إعادة المحاولات بدون تراجع إلى زيادة الضغط والتكلفة.
الإصلاح: حدد إعادة المحاولات وصنف الأخطاء.
تجاهل زمن الاستجابة
غالبًا ما تظهر زيادة زمن الاستجابة p95 قبل حدوث الحظر.
الإصلاح: قلل من التزامن عندما يرتفع زمن الاستجابة.
قائمة التحقق من التنفيذ
قبل طرح الإنتاج:
- تحديد حدود لكل نطاق.
- تحديد حدود لكل مسار.
- تحديد حدود لكل هوية.
- استخدام دلو الرموز أو محدد متكيف.
- إضافة حدود للتزامن.
- إضافة تذبذب إلى الجداول وإعادة المحاولات.
- احترام رؤوس Retry-After.
- إضافة تأخير أسي.
- تحديد عمق إعادة المحاولة.
- تتبع معدل النجاح ومعدل الحظر.
- تتبع الحظر الناعم.
- تتبع CPSR.
- تخزين عينات الفشل.
- ضبط الحدود حسب المسار وحمولة العمل.
- مراجعة الامتثال وقواعد الوصول.
لأنماط الإعداد، راجع دروس SquidProxies حول البروكسي وحالات الاستخدام الأوسع للبروكسي [(https://www.squidproxies.com/proxy-use-cases)].
الأسئلة الشائعة
ما هو تحديد المعدل في عملية السحب؟
تحديد المعدل يتحكم في مدى سرعة إرسال الساحب للطلبات وعدد الطلبات التي تعمل في وقت واحد. يساعد في تقليل الحظر، والتوقيتات، وإعادة المحاولات، وضغط الموقع المستهدف.
ما هو معدل السحب الآمن؟
لا يوجد معدل آمن عالمي. ابدأ بحذر، راقب معدل الحظر وزمن الاستجابة، ثم زد تدريجيًا. قد تتحمل الصفحات الثابتة معدلات أعلى من تلك التي تعتمد على JavaScript، أو تسجيل الدخول، أو عربة التسوق، أو سير العمل البحثي.
هل يجب أن أضع حدودًا حسب IP أو النطاق؟
كلاهما. استخدم حدود لكل نطاق للتحكم في إجمالي حركة المرور إلى موقع ما وحدود لكل هوية لتجنب الاستخدام المفرط لبروكسي واحد، أو جلسة، أو حساب.
ماذا يجب أن أفعل بعد خطأ 429؟
تباطأ. احترم رؤوس Retry-After، قلل من RPS، أضف تأخيرًا، وتجنب إعادة المحاولات الفورية.
هل إضافة المزيد من البروكسيات تحل مشاكل تحديد المعدل؟
ليس دائمًا. يمكن أن توزع المزيد من البروكسيات حركة المرور، ولكن إذا كان الهدف لديه حدود على مستوى المسار أو سلوكيات، فإن سير العمل لا يزال يحتاج إلى تحسين التوقيت.
هل دلو الرموز جيد للساحبين؟
نعم. دلو الرموز هو خيار قوي لأنه يتحكم في متوسط معدل الطلبات مع السماح بانفجارات محدودة. اقترنه مع حدود التزامن والتأخير.
كيف يقلل تحديد المعدل من CPSR؟
تحسين التوقيت يقلل من الحظر وإعادة المحاولات. عدد أقل من إعادة المحاولات يعني إنفاق أقل على البروكسي، وهدر أقل في الحوسبة، ونتائج أكثر صحة مقابل كل دولار.
كيف يمكنني ضبط الحدود لأتمتة المتصفح؟
استخدم تزامنًا أقل، وتوقيتات أطول، وجلسات ثابتة، وتأخير أكثر صرامة. جلسات المتصفح أثقل وأكثر حساسية من الطلبات البسيطة عبر HTTP.
ما هي المقاييس التي يجب أن أراقبها؟
تتبع معدل النجاح، ومعدل الحظر، ومعدل الحظر الناعم، وCPSR، وعمق إعادة المحاولة، وزمن الاستجابة p95، والإنتاجية، وبقاء الجلسة، ودقة الجغرافيا، وتأخير الطابور.
الأفكار النهائية
تتعلق أفضل ممارسات تحديد المعدل للساحبين بالتحكم، والتغذية الراجعة، والقياس. يمكن أن تعمل الأرقام الثابتة للطيور الصغيرة، ولكن أنظمة الإنتاج تحتاج إلى حدود متكيفة تستجيب للحظر، وزمن الاستجابة، وإعادة المحاولات، وجودة البيانات.
ابدأ بحذر. ضع حدودًا حسب النطاق، والمسار، والهوية. أضف تذبذبًا وتأخيرًا. احترم إشارات تحديد المعدل. تتبع CPSR، وليس فقط عدد الطلبات. زد السرعة فقط بعد استقرار نوافذ الأداء.
أفضل ساحب ليس هو الذي يرسل أكبر عدد من الطلبات. إنه الذي يعيد أكبر عدد من البيانات الصحيحة بأقل تكلفة مستدامة.


