अनुरोध थ्रॉटलिंग एक जानबूझकर की जाने वाली प्रक्रिया है जिसमें स्क्रैपर द्वारा अनुरोध भेजने की दर को धीमा किया जाता है, उनके बीच में देरी जोड़कर, ताकि लक्षित साइट के सर्वरों पर अधिक दबाव न डाला जा सके।

यह शब्द सर्वर पक्ष पर भी उपयोग किया जाता है। माइक्रोसॉफ्ट थ्रॉटलिंग को एक तकनीक के रूप में वर्णित करता है जिसका उपयोग क्लाउड एपीआई यह सीमित करने के लिए करते हैं कि कितने अनुरोध एक निश्चित समय में किए जा सकते हैं, ताकि एपीआई सभी उपयोगकर्ताओं के लिए उपलब्ध रहे। किसी भी तरह से, लक्ष्य वही है: ट्रैफ़िक को उस गति पर बनाए रखना जिसे सर्वर संभाल सके।

थ्रॉटलिंग बनाम दर सीमित करना

थ्रॉटलिंगदर सीमित करना
मुख्य विचारअनुरोधों की गति को नियंत्रित करनासमय की खिड़की में अनुरोधों की संख्या को सीमित करना
अतिरिक्त अनुरोधआमतौर पर देरी या फैलाए जाते हैंआमतौर पर अस्वीकृत होते हैं
इसे कौन लागू करता हैक्लाइंट, सर्वर या दोनोंआमतौर पर सर्वर
सामान्य संकेतधीमी प्रतिक्रियाएँ, या 429 के साथ Retry-After429 Too Many Requests

दोनों शर्तें व्यावहारिक रूप से ओवरलैप होती हैं। उदाहरण के लिए, AWS, सीमा से अधिक थ्रॉटल किए गए अनुरोधों को 429 Too Many Requests त्रुटि के साथ अस्वीकृत के रूप में वर्णित करता है। सर्वरों द्वारा अनुरोधों की गणना के लिए दर सीमित करना देखें।

सर्वर थ्रॉटल कैसे करते हैं

  • टोकन बकेट: AWS इस एल्गोरिदम की सिफारिश करता है, जहां प्रत्येक अनुरोध एक टोकन का उपयोग करता है और टोकन प्रति सेकंड एक निर्धारित दर पर फिर से भरते हैं।
  • स्थिति कोड: सबसे सामान्य संकेत 429 Too Many Requests है। माइक्रोसॉफ्ट नोट करता है कि हर एपीआई इसका उपयोग नहीं करता: गिटहब 403 के साथ प्रतिक्रिया कर सकता है।
  • वेट टाइम: कुछ एपीआई एक Retry-After हेडर जोड़ते हैं जो यह बताता है कि अगले अनुरोध से पहले कितनी देर इंतजार करना है।

स्क्रैपर खुद को कैसे थ्रॉटल करते हैं

  • फिक्स्ड डिले: एक ही साइट के लिए अनुरोधों के बीच एक निर्धारित विराम।
  • रैंडमाइज्ड डिले: स्क्रैपी का DOWNLOAD_DELAY_JITTER सेटिंग प्रत्येक देरी में यादृच्छिक भिन्नता जोड़ता है, ताकि अनुरोध एक सटीक ताल पर न आएं।
  • एडाप्टिव डिले: स्क्रैपी का ऑटोथ्रॉटल एक्सटेंशन एक साइट की प्रतिक्रियाओं के लिए अनुकूलित करता है। यह लक्षित देरी को सर्वर की विलंबता को लक्षित समवर्तीता से विभाजित करके सेट करता है, और त्रुटि प्रतिक्रियाओं पर तेजी नहीं लाता।
  • समवर्तीता कैप: एक साइट के लिए कम समवर्ती कनेक्शन अनुरोध दर को भी कम करता है।

पुनः प्रयास थ्रॉटलिंग को उलट सकते हैं

एक स्क्रैपर अपने पहले अनुरोधों को अच्छी तरह से गति दे सकता है और फिर भी पुनः प्रयासों के साथ एक साइट को बाढ़ में डाल सकता है। अमेज़न बिल्डर्स' लाइब्रेरी का एक लेख चेतावनी देता है कि यदि कोई सिस्टम ओवरलोड है, तो पुनः प्रयास ओवरलोड को बेहतर बनाने के बजाय और खराब कर सकते हैं। यह एक उदाहरण देता है जहां प्रत्येक स्वतंत्र रूप से पुनः प्रयास करने वाली परतें एक डेटाबेस पर लोड को 243 गुना बढ़ा देती हैं।

उसी लेख में सुधारों की सूची दी गई है:

  1. एक्सपोनेंशियली बैक ऑफ करें: हर असफल प्रयास के बाद इंतजार बढ़ाएं।
  2. जिटर जोड़ें: प्रत्येक प्रतीक्षा में यादृच्छिकता जोड़ें, ताकि पुनः प्रयास समय में फैल जाएं बजाय कि एक साथ आएं।
  3. इसे कैप करें: अधिकतम प्रतीक्षा और अधिकतम पुनः प्रयासों को सेट करें।

वेब स्क्रैपिंग के लिए इसका क्या मतलब है

  • प्रत्येक साइट के लिए थ्रॉटल करें, न कि प्रत्येक कार्य के लिए: सीमाएँ प्रत्येक लक्षित पर लागू होती हैं, इसलिए प्रत्येक डोमेन के लिए अनुरोधों की गति को अलग से बनाए रखें।
  • 429 को एक विराम के रूप में मानें: Retry-After समय के लिए प्रतीक्षा करें, या जब ऐसा न हो तो जिटर के साथ बैक ऑफ करें।
  • नए आईपी गति को प्रतिस्थापित नहीं करते: 429 के बाद आईपी बदलने से मदद नहीं मिलती यदि साइट कुकी, खाता या फिंगरप्रिंट द्वारा भी गिनती करती है।

संबंधित शर्तें