स्क्रैपर एपीआई एक होस्टेड सेवा है जो आपके लिए एक वेब पृष्ठ लाती है और इसके सामग्री को एक एपीआई कॉल के माध्यम से लौटाती है। आप लक्षित यूआरएल भेजते हैं। सेवा प्रॉक्सी, ब्राउज़र रेंडरिंग और एंटी-बॉट उपायों को संभालती है, फिर एचटीएमएल या संरचित जेएसओएन लौटाती है। कुछ सेवाएँ पृष्ठ को नामित फ़ील्ड में भी पार्स करती हैं, जैसे कि उत्पाद का शीर्षक और मूल्य।
कुछ स्क्रैपर एपीआई प्रति अनुरोध मूल्य निर्धारण करती हैं और केवल सफल प्रतिक्रियाओं के लिए शुल्क लेती हैं। कुछ आंतरिक रूप से प्रतिबंधों को भी संभालती हैं, जब वे उचित समय में प्रतिबंध से बच नहीं सकते हैं, तो प्रतिबंध प्रतिक्रिया लौटाती हैं।
स्क्रैपर एपीआई अनुरोध कैसे काम करता है
- अनुरोध: सेवा के अंत बिंदु पर लक्षित यूआरएल भेजें अपने एपीआई कुंजी के साथ, जो एक क्वेरी पैरामीटर या एचटीपी ऑथेंटिकेशन हेडर में जाता है, सेवा के आधार पर।
- विकल्प: पैरामीटर जावास्क्रिप्ट रेंडरिंग चालू कर सकते हैं, अनुरोध का स्रोत देश चुन सकते हैं, या कई अनुरोधों के बीच एक सत्र को फिर से उपयोग कर सकते हैं।
- प्रतिक्रिया: सेवा कच्चा एचटीएमएल, ब्राउज़र-रेंडर किया हुआ एचटीएमएल, एक स्क्रीनशॉट या निकाली गई संरचित डेटा लौटाती है।
- ऐसिंक्रोनस नौकरियाँ: बड़े बैचों के लिए, कुछ सेवाएँ एक नौकरी स्वीकार करती हैं, एक स्थिति यूआरएल लौटाती हैं जिसे जांचा जा सकता है, और परिणामों को वेबहुक पर भेज सकती हैं।
स्क्रैपर एपीआई बनाम आधिकारिक एपीआई
एक आधिकारिक एपीआई वेबसाइट के मालिक द्वारा प्रोग्रामेटिक एक्सेस के लिए प्रकाशित की जाती है। यह एक दस्तावेज़ीकृत प्रारूप में डेटा लौटाती है और स्पष्ट सीमाएँ निर्धारित करती है। उदाहरण के लिए, GitHub का REST API प्रति घंटे 60 अनधिकृत अनुरोधों और एक अधिकृत उपयोगकर्ता के लिए प्रति घंटे 5,000 की अनुमति देता है। एक स्क्रैपर एपीआई इसके बजाय मानव ब्राउज़रों के लिए बनाए गए पृष्ठों से काम करती है। यह सार्वजनिक डेटा तक पहुँच सकती है जो कोई आधिकारिक एपीआई प्रदान नहीं करता है।