समानांतर कनेक्शन, जिन्हें अक्सर थ्रेड कहा जाता है, वे अनुरोधों की संख्या हैं जिन्हें आप एक प्रॉक्सी के माध्यम से एक ही समय में खोल सकते हैं। 50 का एक सीमा का अर्थ है कि 50 अनुरोध समानांतर में चल सकते हैं। जब एक समाप्त होता है, तो दूसरा शुरू हो सकता है। अधिक समानांतरता बड़े कार्यों को तेजी से समाप्त करती है, लेकिन हर खुला कनेक्शन प्रॉक्सी और लक्षित सर्वर पर संसाधनों का उपयोग करता है।

एक 429 Too Many Requests स्थिति का अर्थ है कि आपने एक निश्चित समय में बहुत अधिक अनुरोध भेजे हैं।

थ्रेड, कनेक्शन और अनुरोध

  • थ्रेड: आपके अपने प्रोग्राम में कार्य की एक इकाई। एक साधारण स्क्रैपर में, प्रत्येक थ्रेड एक अनुरोध भेजता है और उसके उत्तर की प्रतीक्षा करता है।
  • HTTP/1.x: एक कनेक्शन मुख्य रूप से एक समय में अनुरोधों को संभालता है, इसलिए HTTP/1.0 और HTTP/1.1 क्लाइंट कई कनेक्शन खोलते हैं ताकि समानांतर अनुरोध किए जा सकें।
  • HTTP/2: कई अनुरोध, जिन्हें स्ट्रीम कहा जाता है, एक ही कनेक्शन पर इंटरलीव्ड किए जा सकते हैं। एक सर्वर अपनी सीमा SETTINGS_MAX_CONCURRENT_STREAMS के साथ सेट करता है।
  • यह क्यों महत्वपूर्ण है: आपका थ्रेड काउंट, खुले कनेक्शन, और इन-फ्लाइट अनुरोध हमेशा समान संख्या में नहीं होते हैं, इसलिए जांचें कि एक सीमा किस पर संदर्भित करती है।

एक सुरक्षित समानांतरता स्तर चुनना

  • संवेदनशील रहें: HTTP/1.1 विनिर्देशन (RFC 9112) कहता है कि एक क्लाइंट को एक दिए गए सर्वर के लिए समानांतर खुले कनेक्शनों की संख्या को सीमित करना चाहिए। यह कोई निश्चित अधिकतम नहीं सेट करता।
  • क्यों: प्रत्येक कनेक्शन सर्वर संसाधनों का उपभोग करता है, और कई समानांतर कनेक्शन भीड़भाड़ पैदा कर सकते हैं जिसे कम कनेक्शन से बचा जा सकता है।
  • Retry-After का सम्मान करें: एक 429 Too Many Requests प्रतिक्रिया में एक Retry-After हेडर शामिल हो सकता है जो बताता है कि फिर से प्रयास करने से पहले कितनी देर तक प्रतीक्षा करनी है।

संबंधित शर्तें