IP रोटेशन एक ऐसा अभ्यास है जिसमें आउटगोइंग अनुरोधों को IP पते के एक पूल के माध्यम से भेजा जाता है और स्रोत IP को स्विच करना एक निर्धारित नियम के अनुसार किया जाता है, जैसे प्रत्येक अनुरोध, प्रत्येक सत्र या निर्धारित अंतराल पर। इस तरह से ट्रैफ़िक फैलाने से प्रत्येक IP के अनुरोध की मात्रा कम रहती है, इसलिए प्रति-IP दर सीमाएँ और प्रतिबंध कम कार्य को प्रभावित करते हैं।

IP रोटेशन तकनीक है। एक रोटेटिंग प्रॉक्सी एक सेवा है जो आपके लिए एक गेटवे पते के पीछे इसे करती है, लेकिन आप अपने कोड में भी IP को रोटेट कर सकते हैं। डायनामिक IP वाले घरेलू कनेक्शन भी पते को बदल सकते हैं, लेकिन नेटवर्क के कार्यक्रम के अनुसार, आपके अनुसार नहीं।

IP रोटेशन कैसे काम करता है

  1. एक पूल प्राप्त करें: प्रॉक्सी IP का एक सूची, या एक प्रदाता के प्रॉक्सी पूल के सामने एक गेटवे।
  2. नियम द्वारा एक IP चुनें: अगले अनुरोध या सत्र के लिए एक पता चुनें।
  3. अनुरोध को इसके माध्यम से भेजें: लक्षित साइट केवल चुने हुए IP को देखती है।
  4. आराम करें या विफल IP को हटा दें: जब एक IP ब्लॉक प्रतिक्रियाएँ प्राप्त करना शुरू कर दे, जैसे 403 या 429, तो उसे उपयोग से हटा दें।

रोटेशन नियम

  • प्रति अनुरोध: प्रत्येक अनुरोध के लिए एक नया IP। पुनः उपयोग किए गए कनेक्शन एक ही IP रख सकते हैं, जैसा कि रोटेटिंग प्रॉक्सी के तहत समझाया गया है।
  • समयबद्ध: IP एक निश्चित अंतराल पर बदलता है, जैसे हर कुछ मिनट।
  • प्रति सत्र (स्टिकी): एक IP को एक सत्र के लिए रखा जाता है और फिर बदल दिया जाता है। देखें स्टिकी सत्र।
  • विफलता पर: IP केवल एक ब्लॉक या दर-सीमा प्रतिक्रिया के बाद बदलता है।
  • क्रम: राउंड-रॉबिन प्रत्येक IP का बारी-बारी से उपयोग करता है; यादृच्छिक चयन किसी भी उपलब्ध IP को चुनता है।

IP को रोटेट करने के तरीके

रोटेटिंग प्रॉक्सी गेटवेअपने कोड में रोटेशनVPN सर्वरों को स्विच करना
IP कौन चुनता हैप्रदाता का गेटवेआपकी स्क्रिप्ट, प्रॉक्सी की सूची सेआप या VPN ऐप
आप कैसे कनेक्ट करते हैंएक होस्ट और पोर्टप्रत्येक अनुरोध या सत्र के लिए एक अलग प्रॉक्सीपूरे डिवाइस के लिए एक टनल
एक साथ विभिन्न IPहाँ, प्रति कनेक्शन या सत्रहाँ, प्रति अनुरोधनहीं, एक कनेक्शन के लिए एक सर्वर

कोड में, रोटेशन का अर्थ है प्रत्येक अनुरोध पर प्रॉक्सी सेट करना। उदाहरण के लिए, Scrapy इसे request.meta['proxy'] से पढ़ता है। VPN और प्रॉक्सी में अंतर के लिए, देखें VPN बनाम प्रॉक्सी।

एक सबनेट के भीतर रोटेटिंग असली रोटेशन नहीं है

साइटें केवल एकल पते की गणना नहीं करती हैं, इसलिए पड़ोसी IP का एक पूल एक IP की तरह कार्य कर सकता है:

  • रेंज: nginx का deny निर्देश एक CIDR रेंज को स्वीकार करता है, इसलिए एक नियम एक पूरे सबनेट को ब्लॉक कर सकता है, जैसे कि /24 में 256 पते।
  • नेटवर्क: Cloudflare के दर सीमित करने के नियम अनुरोधों की गणना AS संख्या द्वारा कर सकते हैं, इसलिए एक ही नेटवर्क से प्रत्येक IP एक काउंटर में जोड़ता है। देखें ASN।
  • IPv6 प्रीफिक्स: RFC 6177 कहता है कि अंत साइटों को कम से कम एक /64 प्राप्त करना चाहिए, और अधिकांश मामलों में बहुत अधिक। एक साइट एक पूरे प्रीफिक्स को एक उपयोगकर्ता के रूप में मान सकती है, इसलिए इसके भीतर पते को रोटेट करना बहुत कम बदलाव करता है।

महत्वपूर्ण यह है कि एक पूल कितने विभिन्न रेंज और नेटवर्क को कवर करता है, न कि केवल यह कि इसमें कितने IP हैं।

वेब स्क्रैपिंग के लिए इसका क्या मतलब है

  • रोटेशन गति को प्रतिस्थापित नहीं करता है: जब एक साइट 429 का उत्तर देती है, तो एक नए IP से तुरंत पुनः प्रयास करने के बजाय इसके Retry-After header में समय की प्रतीक्षा करें।
  • कुकीज़ IP से अधिक समय तक रह सकती हैं: Cloudflare का "NAT समर्थन के साथ IP" विकल्प सत्र कुकी (_cfuvid) द्वारा आगंतुकों की पहचान कर सकता है, इसलिए एक ही कुकी जार के साथ नया IP अभी भी उसी आगंतुक के रूप में गिना जा सकता है।
  • नियम को कार्य से मिलाएं: स्वतंत्र पृष्ठों के लिए प्रति अनुरोध रोटेट करें और लॉगिन और चेकआउट के लिए एक IP को पकड़ें।

क्यों केवल रोटेशन पर्याप्त नहीं है

एक नया IP अन्य सभी चीजों को नहीं बदलता जो एक साइट देख सकती है। साइटें अनुरोधों को ब्राउज़र फ़िंगरप्रिंट के माध्यम से लिंक कर सकती हैं जो संकेतों जैसे कि यूजर-एजेंट हेडर, विंडो का आकार, स्थापित फ़ॉन्ट और ग्राफिक्स कैसे रेंडर होते हैं, से बनाया जाता है। एक फ़िंगरप्रिंट एक क्लाइंट की पहचान कर सकता है भले ही इसका IP छिपा हो या कुकीज़ अवरुद्ध हों।

संबंधित शर्तें