रोटेटिंग प्रॉक्सी एक प्रॉक्सी सेवा है जो स्वचालित रूप से बाहर जाने वाले IP पते को बदलती है, प्रत्येक अनुरोध, प्रत्येक नए कनेक्शन या प्रत्येक समय विंडो के लिए एक नया IP पते का चयन करती है।
आप एक गेटवे पते से कनेक्ट करते हैं, और प्रदाता उस IP को चुनता है जिसे लक्षित साइटें देखती हैं। "रोटेटिंग" यह वर्णन करता है कि IP कैसे बदलता है, न कि यह कहाँ से आता है: पूल में आवासीय, डेटा सेंटर, मोबाइल या ISP पते हो सकते हैं।
रोटेटिंग प्रॉक्सी कैसे काम करती है
- आपका क्लाइंट एक गेटवे होस्ट और प्रॉक्सी पोर्ट पर ट्रैफ़िक भेजता है, आमतौर पर एक उपयोगकर्ता नाम और पासवर्ड के साथ।
- गेटवे अपने प्रॉक्सी पूल से एक बाहर जाने वाला IP चुनता है और उस पते से लक्षित साइट से कनेक्ट करता है।
- लक्षित साइट केवल बाहर जाने वाले IP को देखती है। अगले अनुरोध, कनेक्शन या समय विंडो पर, गेटवे एक अलग IP चुन सकता है।
रोटेशन विधियाँ
- प्रत्येक अनुरोध या प्रत्येक कनेक्शन: प्रत्येक नए अनुरोध या कनेक्शन को एक नया बाहर जाने वाला IP मिलता है। यह बिना स्थिति वाले पृष्ठ फ़ेच के लिए उपयुक्त है।
- समयबद्ध रोटेशन: एक IP को एक निश्चित अवधि के लिए रखा जाता है, जैसे कि कई मिनट, फिर इसे बदल दिया जाता है।
- स्टिकी सत्र: एक स्टिकी सत्र एक पूरे सत्र के लिए एक IP को बनाए रखता है, ताकि लॉगिन, कार्ट और बहु-चरण फ़ॉर्म काम करते रहें।
प्रति अनुरोध अक्सर प्रति कनेक्शन का अर्थ होता है
HTTPS ट्रैफ़िक एक प्रॉक्सी के माध्यम से एक सुरंग के अंदर चलता है जो HTTP CONNECT विधि के साथ खोली जाती है। प्रॉक्सी तब डेटा को अंधाधुंध दोनों दिशाओं में अग्रेषित करती है जब तक कि सुरंग बंद नहीं हो जाती, इसलिए एक खुले सुरंग के माध्यम से भेजा गया प्रत्येक अनुरोध उसी कनेक्शन के माध्यम से साइट तक पहुँचता है और वही बाहर जाने वाला IP दिखाता है।
अधिकांश HTTP क्लाइंट भी कनेक्शन को खुला रखते हैं और उन्हें बाद के अनुरोधों के लिए पुनः उपयोग करते हैं, जिसे स्थायी या कीप-एलाइव कनेक्शन के रूप में जाना जाता है। HTTP/2 आगे बढ़ता है और एकल कनेक्शन के माध्यम से कई अनुरोधों को मल्टीप्लेक्स करता है। यदि आपका स्क्रैपर कनेक्शन को पुनः उपयोग करता है, तो कई अनुरोध एक ही IP को साझा कर सकते हैं, भले ही यह प्रति अनुरोध योजना पर हो। हर बार ताजा IP प्राप्त करने के लिए, प्रत्येक अनुरोध के बाद कनेक्शन बंद करें या अपने HTTP क्लाइंट में कनेक्शन पुनः उपयोग बंद करें।
रोटेटिंग बनाम स्थिर प्रॉक्सी
| रोटेटिंग प्रॉक्सी | स्थिर प्रॉक्सी | |
|---|---|---|
| बाहर जाने वाला IP | प्रत्येक अनुरोध, कनेक्शन या समय विंडो के अनुसार बदलता है | वही रहता है |
| सत्र निरंतरता | स्टिकी सत्रों की आवश्यकता होती है | अंतर्निहित |
| प्रति IP अनुरोध लोड | पूल में फैलता है | एक IP पर सभी |
| सामान्य फिट | बड़े क्रॉल, रैंक ट्रैकिंग, कई पृष्ठों पर मूल्य जांच | लॉगिन, खाता कार्य, IP अनुमति सूचियाँ |
जब एक निश्चित IP बेहतर विकल्प हो, तो स्थिर प्रॉक्सी देखें।
रोटेटिंग प्रॉक्स के प्रकार
रोटेशन किसी भी IP प्रकार पर चल सकता है:
- आवासीय: उपभोक्ता ISP द्वारा असाइन किए गए घरेलू IP।
- डेटा सेंटर: होस्टिंग प्रदाताओं से IP, जो होस्टिंग ASN के तहत समूहित होते हैं।
- मोबाइल: कैरियर IP जो कई फोन उपयोगकर्ताओं द्वारा अक्सर साझा किए जाते हैं।
- ISP: उपभोक्ता ISP के लिए पंजीकृत IP लेकिन डेटा केंद्रों में होस्ट किए गए।
वेब स्क्रैपिंग के लिए इसका क्या अर्थ है
- रोटेशन प्रति-IP गणनाओं को फैलाता है: Cloudflare की फ्री और प्रो योजनाओं पर, रेट लिमिटिंग नियम केवल IP द्वारा अनुरोधों की गणना करते हैं। पूल में अनुरोधों को फैलाने से प्रत्येक IP की गणना कम रहती है। रेट लिमिटिंग देखें।
- कार्य के लिए विधि का मिलान करें: स्वतंत्र पृष्ठों के लिए प्रति अनुरोध रोटेशन का उपयोग करें, जैसे कि रैंक ट्रैकिंग के लिए खोज परिणाम। किसी भी चीज़ के लिए जो लॉगिन या सत्र कुकी पर निर्भर करती है, एक स्टिकी सत्र का उपयोग करें।
घुमावदार प्रॉक्सी की सीमाएँ
घुमाव केवल आपके IP को बदलता है। कुकीज़, खाता लॉगिन और ब्राउज़र फिंगरप्रिंटिंग अभी भी आपको पहचान सकते हैं। W3C की फिंगरप्रिंटिंग गाइडेंस नोट करती है कि टोर उपयोगकर्ता, जो अपने नेटवर्क मार्ग को बदलते हैं, उन्हें ब्राउज़र फिंगरप्रिंटिंग के माध्यम से अभी भी जोड़ा जा सकता है, और एक VPN का उपयोग भी इससे रोकता नहीं है।
- रेट लिमिट हमेशा प्रति IP नहीं होती: क्लाउडफ्लेयर की एंटरप्राइज योजनाओं में उन्नत रेट लिमिटिंग के साथ, नियम अनुरोधों को IP द्वारा गिन सकते हैं, लेकिन हेडर, कुकी या क्वेरी पैरामीटर मान, ASN, देश, JA3/JA4 TLS फिंगरप्रिंट या JWT दावों द्वारा भी। एक नया IP उन पर आधारित सीमाओं को रीसेट नहीं करता है।
- सत्र के मध्य IP परिवर्तन सत्र को समाप्त कर सकता है: OWASP सत्र को क्लाइंट गुणों जैसे IP पते से बांधने की सिफारिश करता है, और एक स्थापित सत्र के दौरान परिवर्तन को संभावित हाईजैकिंग संकेत के रूप में मानता है जिस पर अलर्ट किया जा सकता है या समाप्त किया जा सकता है। एक स्थायी सत्र एक सेट अवधि के लिए एक IP रखता है, जो इससे बचता है।
- कोई अतिरिक्त एन्क्रिप्शन नहीं: घुमाव अपने आप में ट्रैफ़िक को एन्क्रिप्ट नहीं करता है। HTTPS साइटें अंत से अंत तक एन्क्रिप्टेड रहती हैं क्योंकि प्रॉक्सी केवल टनल के बाइट्स को पुनः प्रेषित करती है।