नैतिक वेब स्क्रैपिंग सार्वजनिक रूप से उपलब्ध वेब डेटा को इस तरह से एकत्र करना है कि यह किसी साइट के निर्धारित पहुंच नियमों का सम्मान करता है, इसके सर्वरों को ओवरलोड करने से बचता है, और लागू कानूनी और गोपनीयता सीमाओं के भीतर रहता है।

नैतिक स्क्रैपिंग के लिए मुख्य प्रथाएँ

  • जहाँ उचित हो, robots.txt निर्देशों का सम्मान करना
  • लक्षित सर्वरों को ओवरलोड करने से बचने के लिए अनुरोधों की दर-सीमा करना
  • स्पष्ट कानूनी आधार के बिना व्यक्तिगत डेटा का संग्रहण न करना
  • बड़े पैमाने पर संग्रहण से पहले साइट की सेवा की शर्तों की समीक्षा करना

RFC 9309 रोबोट.txt नियमों का वर्णन करता है जिन्हें क्रॉलर को सम्मानित करने के लिए कहा जाता है। यह यह भी कहता है कि ये पहुंच प्राधिकरण का एक रूप नहीं हैं।

अनुरोधों की दर-सीमा केवल पहचान से बचने के बारे में नहीं है। यह लक्षित साइट के सर्वरों पर डाले गए लोड को भी कम करता है। अमेरिका के मामलों में, अदालतों ने यह विचार किया है कि स्वचालित पहुंच साइट के मालिक के सिस्टम पर कितना प्रतिकूल प्रभाव डालती है।

संबंधित शर्तें