اخلاقی ویب اسکرپنگ عوامی طور پر دستیاب ویب ڈیٹا کو اس طرح جمع کرنا ہے کہ کسی سائٹ کے بیان کردہ رسائی کے قواعد کا احترام کیا جائے، اس کے سرورز کو زیادہ بوجھ میں نہ ڈالیں، اور قابل اطلاق قانونی اور رازداری کی حدود کے اندر رہیں۔
اخلاقی اسکرپنگ کے بنیادی طریقے
- جہاں مناسب ہو،
robots.txtہدایات کا احترام کرنا - ہدف کے سرورز کو زیادہ بوجھ میں نہ ڈالنے کے لیے درخواستوں کی شرح کی حد مقرر کرنا
- واضح قانونی بنیاد کے بغیر ذاتی ڈیٹا جمع کرنے سے گریز کرنا
- بڑے پیمانے پر جمع کرنے سے پہلے کسی سائٹ کی خدمات کی شرائط کا جائزہ لینا
RFC 9309 میں robots.txt کے قواعد کو ان قواعد کے طور پر بیان کیا گیا ہے جن کا احترام کرنے کے لیے کرالرز سے کہا جاتا ہے۔ یہ بھی کہا گیا ہے کہ یہ رسائی کی اجازت کی ایک شکل نہیں ہیں۔
درخواستوں کی شرح کی حد مقرر کرنا صرف پوشیدگی سے بچنے کے بارے میں نہیں ہے۔ یہ ہدف کی سائٹ کے سرورز پر بوجھ کو بھی کم کرتا ہے۔ امریکہ کے مقدمات میں، عدالتوں نے یہ غور کیا ہے کہ خودکار رسائی سائٹ کے مالک کے نظام پر کس طرح منفی اثر ڈالتی ہے۔