Pengambilan data web yang etis web scraping adalah mengumpulkan data web yang tersedia untuk umum dengan cara yang menghormati aturan akses yang dinyatakan oleh situs, menghindari membebani servernya, dan tetap dalam batasan hukum dan privasi yang berlaku.

Praktik Inti untuk Pengambilan Data yang Etis

  • Menghormati arahan robots.txt di mana pun memungkinkan
  • Membatasi laju permintaan untuk menghindari membebani server target
  • Menghindari pengumpulan data pribadi tanpa dasar hukum yang jelas
  • Meninjau Ketentuan Layanan situs sebelum pengumpulan skala besar

RFC 9309 menggambarkan aturan robots.txt sebagai aturan yang diminta untuk dihormati oleh crawler. Ini juga menyatakan bahwa mereka bukan bentuk otorisasi akses.

Membatasi laju permintaan bukan hanya tentang menghindari deteksi. Ini juga mengurangi beban yang ditempatkan pada server situs target. Dalam kasus di AS, pengadilan telah mempertimbangkan seberapa banyak akses otomatis berdampak negatif pada sistem pemilik situs.

Istilah Terkait