वेब स्क्रैपिंग डेटा का स्वचालित निष्कर्षण है जो वेबसाइटों से किया जाता है: एक प्रोग्राम पृष्ठों का अनुरोध करता है, लौटाए गए HTML या JSON को पार्स करता है, और विशिष्ट फ़ील्ड, जैसे कि कीमतें या लिस्टिंग, को संरचित प्रारूप में सहेजता है। यह वेब क्रॉलिंग से भिन्न है, जो लिंक का पालन करता है ताकि पृष्ठों को खोजा और अनुक्रमित किया जा सके; स्क्रैपिंग उन पृष्ठों से विशिष्ट डेटा निकालता है जो प्राप्त किए गए हैं।
एक बुनियादी स्क्रैपर एक लक्षित URL पर HTTP अनुरोध भेजता है, कच्चा HTML (या API-आधारित साइटों के लिए JSON) प्राप्त करता है, और आवश्यक विशिष्ट डेटा बिंदुओं को पार्स करता है: उत्पाद की कीमतें, खोज रैंकिंग, संपर्क जानकारी, और इसी तरह। बड़े पैमाने पर, स्क्रैपिंग दर सीमाओं का सामना करती है, जो यह निर्धारित करती हैं कि एकल IP पता एक निश्चित समय की अवधि में कितने अनुरोध कर सकता है।
वेब स्क्रैपिंग टूल के प्रकार
- कोड पुस्तकालय: स्क्रिप्ट जो HTTP अनुरोध भेजती हैं और HTML को पार्स करती हैं, उदाहरण के लिए, HTML पार्सर के साथ Python।
- ब्राउज़र स्वचालन: ऐसे उपकरण जैसे Selenium या Playwright पूरी पृष्ठ को लोड करते हैं, जिसमें JavaScript-निर्मित सामग्री शामिल होती है, फिर प्रस्तुत DOM से डेटा निकालते हैं।
- आधिकारिक APIs: जहां एक साइट एक प्रदान करती है, यह सीधे संरचित डेटा लौटाती है, बिना HTML पार्सिंग के।
सामान्य एंटी-स्क्रैपिंग उपाय
दर सीमाओं के अलावा, साइटें स्क्रैपर्स को पहचानने और धीमा करने के लिए अन्य तरीकों का उपयोग करती हैं:
- CAPTCHA जो आगंतुक से यह साबित करने के लिए कहते हैं कि वे मानव हैं।
- robots.txt फ़ाइलें जो बताती हैं कि स्वचालित क्रॉलर किन पथों तक पहुँच सकते हैं।
- हनीपॉट्स: छिपे हुए लिंक जो मानव आगंतुक कभी नहीं देखते या क्लिक नहीं करते, बॉट्स की पहचान और फिंगरप्रिंट करने के लिए उपयोग किए जाते हैं।
- डिवाइस फिंगरप्रिंटिंग, जो अपने लक्षणों से एक ब्राउज़र या डिवाइस को फिर से पहचान सकती है, भले ही कुकीज़ को साफ किया गया हो या जब VPN का उपयोग किया गया हो।