تخفيض الطلبات هو ممارسة متعمدة لتقليل معدل إرسال برنامج جمع البيانات للطلبات، من خلال إضافة تأخيرات بينها، لتجنب الضغط على خوادم الموقع المستهدف بشكل كبير.
يستخدم هذا المصطلح أيضًا على جانب الخادم. تصف مايكروسوفت التخفيض كونه تقنية تستخدمها واجهات برمجة التطبيقات السحابية للحد من عدد الطلبات التي يمكن تقديمها في فترة زمنية معينة، بحيث تظل واجهة برمجة التطبيقات متاحة لجميع المستخدمين. في كلتا الحالتين، الهدف هو نفسه: الحفاظ على حركة المرور بمعدل يمكن للخادم تحمله.
التخفيض مقابل تحديد المعدل
| التخفيض | تحديد المعدل | |
|---|---|---|
| الفكرة الرئيسية | التحكم في وتيرة الطلبات | تحديد عدد الطلبات في نافذة زمنية |
| الطلبات الزائدة | عادة ما يتم تأخيرها أو توزيعها | عادة ما يتم رفضها |
| من يطبقها | العميل، الخادم أو كلاهما | عادة ما يكون الخادم |
| الإشارة النموذجية | استجابات أبطأ، أو 429 مع Retry-After | 429 Too Many Requests |
تتداخل المصطلحات في الممارسة العملية. تصف AWS، على سبيل المثال، الطلبات المخفضة التي تتجاوز الحد بأنها مرفوضة مع خطأ 429 Too Many Requests. انظر تحديد المعدل لكيفية حساب الخوادم للطلبات.
كيف تخفض الخوادم
- دلو الرموز: توصي AWS بهذا الخوارزم، حيث يستخدم كل طلب رمزًا وتعيد الرموز التعبئة بمعدل محدد في الثانية.
- رموز الحالة: الإشارة الأكثر شيوعًا هي
429 Too Many Requests. تشير مايكروسوفت إلى أن ليس كل واجهة برمجة التطبيقات تستخدمها: يمكن أن تستجيب GitHub بـ403. - أوقات الانتظار: تضيف بعض واجهات برمجة التطبيقات رأس Retry-After الذي يحدد مدة الانتظار قبل الطلب التالي.
كيف تخفض برامج جمع البيانات نفسها
- تأخير ثابت: توقف محدد بين الطلبات إلى نفس الموقع.
- تأخير عشوائي: تضيف إعدادات
DOWNLOAD_DELAY_JITTERفي Scrapy تباينًا عشوائيًا لكل تأخير، بحيث لا تصل الطلبات في توقيت دقيق. - تأخير تكيفي: تتكيف إضافة AutoThrottle في Scrapy مع استجابات الموقع. تحدد التأخير المستهدف بناءً على زمن استجابة الخادم مقسومًا على التزامن المستهدف، ولا تسرع عند استجابات الخطأ.
- حدود التزامن: تقليل الاتصالات المتزامنة إلى موقع واحد يقلل من معدل الطلبات أيضًا.
يمكن أن تلغي المحاولات التخفيض
يمكن لبرنامج جمع البيانات أن يضبط وتيرة طلباته الأولى بشكل جيد ومع ذلك يغمر موقعًا بالمحاولات المتكررة. تحذر مقالة في مكتبة بناة أمازون من أنه إذا كان النظام محملاً، فإن المحاولات المتكررة يمكن أن تجعل الحمل أسوأ بدلاً من أن يكون أفضل. تعطي مثالًا حيث ترفع الطبقات التي تعيد المحاولة بشكل مستقل الحمل على قاعدة بيانات 243 مرة.
تسرد المقالة نفسها الحلول:
- تراجع بشكل أسي: زيادة فترة الانتظار بعد كل محاولة فاشلة.
- إضافة جتر: إضافة عشوائية إلى كل فترة انتظار، بحيث تنتشر المحاولات المتكررة في الوقت بدلاً من الوصول معًا.
- تحديدها: تحديد حد أقصى لفترة الانتظار وحد أقصى لعدد المحاولات.
ماذا يعني ذلك لجمع البيانات عبر الويب
- التخفيض لكل موقع، وليس لكل وظيفة: الحدود تنطبق على كل هدف، لذا يجب ضبط الطلبات لكل نطاق بشكل منفصل.
- اعتبر 429 كفترة توقف: انتظر لمدة Retry-After، أو تراجع مع جتر عندما لا يوجد واحد.
- IP جديدة لا تحل محل التوقيت: التبديل بين IPs بعد 429 لا يساعد إذا كان الموقع أيضًا يعد بواسطة الكوكيز أو الحساب أو بصمة الإصبع.