Pengumpulan data web secara etika adalah mengumpul data web yang tersedia untuk umum dengan cara yang menghormati peraturan akses yang dinyatakan oleh laman, mengelakkan beban berlebihan pada pelayannya, dan mematuhi batasan undang-undang dan privasi yang berkenaan.

Amalan Teras untuk Pengumpulan Etika

  • Menghormati arahan robots.txt di mana munasabah
  • Membataskan kadar permintaan untuk mengelakkan beban berlebihan pada pelayan sasaran
  • Mengelakkan pengumpulan data peribadi tanpa asas undang-undang yang jelas
  • Menyemak Terma Perkhidmatan laman sebelum pengumpulan berskala besar

RFC 9309 menerangkan peraturan robots.txt sebagai peraturan yang diminta untuk dihormati oleh crawler. Ia juga menyatakan bahawa ia bukan bentuk kebenaran akses.

Membataskan kadar permintaan bukan hanya tentang mengelakkan pengesanan. Ia juga mengurangkan beban yang dikenakan pada pelayan laman sasaran. Dalam kes di A.S., mahkamah telah mempertimbangkan sejauh mana akses automatik memberi kesan buruk kepada sistem pemilik laman.

Istilah Berkaitan