Etik web scraping , bir sitenin belirttiği erişim kurallarına saygı göstererek, sunucularını aşırı yüklemekten kaçınarak ve geçerli yasal ve gizlilik sınırları içinde kalarak kamuya açık web verilerini toplamaktır.

Etik Scraping için Temel Uygulamalar

  • Makul ölçüde robots.txt direktiflerine saygı göstermek
  • Hedef sunucuları aşırı yüklemekten kaçınmak için istekleri hız sınırlamak
  • Açık bir yasal dayanak olmadan kişisel verilerin toplanmasından kaçınmak
  • Büyük ölçekli toplama öncesinde bir sitenin Hizmet Şartlarını gözden geçirmek

RFC 9309, robots.txt kurallarını tarayıcıların uyması gereken kurallar olarak tanımlar. Ayrıca, bunların bir erişim yetkilendirme biçimi olmadığını belirtir.

İstekleri hız sınırlamak, yalnızca tespit edilmekten kaçınmakla ilgili değildir. Aynı zamanda hedef sitenin sunucuları üzerindeki yükü de azaltır. ABD davalarında, mahkemeler otomatik erişimin site sahibinin sistemine ne kadar olumsuz etki ettiğini değerlendirmiştir.

İlgili Terimler