تعتبر جمع البيانات من الويب بشكل أخلاقي عملية جمع البيانات المتاحة للجمهور من الويب بطريقة تحترم قواعد الوصول المعلنة لموقع ما، وتتجنب تحميل خوادمه بشكل زائد، وتبقى ضمن الحدود القانونية وخصوصية البيانات المعمول بها.
الممارسات الأساسية لجمع البيانات بشكل أخلاقي
- احترام توجيهات
robots.txtحيثما كان ذلك معقولًا - تحديد معدل الطلبات لتجنب تحميل الخوادم المستهدفة بشكل زائد
- تجنب جمع البيانات الشخصية دون وجود أساس قانوني واضح
- مراجعة شروط الخدمة لموقع ما قبل جمع البيانات على نطاق واسع
تصف RFC 9309 قواعد robots.txt كقواعد يُطلب من الزواحف احترامها. كما تقول إنها ليست شكلًا من أشكال تفويض الوصول.
ليس تحديد معدل الطلبات مجرد وسيلة لتجنب الكشف. بل يقلل أيضًا من الحمل الذي يُوضع على خوادم الموقع المستهدف. في الحالات الأمريكية، اعتبرت المحاكم مدى تأثير الوصول الآلي سلبًا على نظام مالك الموقع.