নৈতিক ওয়েব স্ক্র্যাপিং হল একটি সাইটের প্রকাশিত প্রবেশের নিয়মগুলির প্রতি সম্মান জানিয়ে, এর সার্ভারগুলিকে অতিরিক্ত চাপ না দিয়ে এবং প্রযোজ্য আইন ও গোপনীয়তার সীমানার মধ্যে থেকে জনসাধারণের জন্য উপলব্ধ ওয়েব ডেটা সংগ্রহ করা।
নৈতিক স্ক্র্যাপিংয়ের জন্য মূল অনুশীলন
- যুক্তিসঙ্গতভাবে
robots.txtনির্দেশাবলীকে সম্মান করা - লক্ষ্য সার্ভারগুলিকে অতিরিক্ত চাপ থেকে রক্ষা করতে অনুরোধের হার সীমাবদ্ধ করা
- স্পষ্ট আইনগত ভিত্তি ছাড়া ব্যক্তিগত তথ্য সংগ্রহ এড়ানো
- বৃহৎ পরিসরে সংগ্রহের আগে একটি সাইটের পরিষেবার শর্তাবলী পর্যালোচনা করা
RFC 9309 রোবট.txt নিয়মগুলিকে সেই নিয়ম হিসেবে বর্ণনা করে যা ক্রলারদের সম্মান জানাতে বলা হয়। এটি বলেও উল্লেখ করে যে এগুলি প্রবেশের অনুমোদনের একটি ফর্ম নয়।
অনুরোধের হার সীমাবদ্ধ করা কেবল শনাক্তকরণ এড়ানোর বিষয়ে নয়। এটি লক্ষ্য সাইটের সার্ভারগুলির উপর চাপ কমাতেও সহায়ক। মার্কিন যুক্তরাষ্ট্রের মামলাগুলিতে, আদালতগুলি বিবেচনা করেছে যে কতটা স্বয়ংক্রিয় প্রবেশ সাইটের মালিকের সিস্টেমের উপর নেতিবাচক প্রভাব ফেলে।