Ang Ethical web scraping ay ang pagkolekta ng pampublikong datos mula sa web sa paraang iginagalang ang mga nakasaad na patakaran ng isang site, iniiwasan ang labis na pag-load sa mga server nito, at nananatili sa mga naaangkop na legal at privacy na hangganan.
Mga Pangunahing Praktis para sa Ethical Scraping
- Paggalang sa
robots.txtna mga direktiba kung saan ito ay makatwiran - Pag-rate limit ng mga kahilingan upang maiwasan ang labis na pag-load sa mga target na server
- Pag-iwas sa pagkolekta ng personal na datos nang walang malinaw na legal na batayan
- Pagsusuri sa mga Tuntunin ng Serbisyo ng isang site bago ang malawakang pagkolekta
Inilarawan ng RFC 9309 ang mga patakaran ng robots.txt bilang mga patakaran na hinihiling sa mga crawler na igalang. Sinasabi rin nito na hindi ito isang anyo ng pahintulot sa pag-access.
Ang pag-rate limit ng mga kahilingan ay hindi lamang tungkol sa pag-iwas sa pagtuklas. Binabawasan din nito ang load na inilalagay sa mga server ng target na site. Sa mga kaso sa U.S., isinasaalang-alang ng mga hukuman kung gaano kalaki ang masamang epekto ng automated access sa sistema ng may-ari ng site.