Etiese web scraping is die versameling van publiek beskikbare webdata op 'n manier wat 'n webwerf se verklaarde toegangreëls respekteer, oorbelasting van sy bedieners vermy, en binne toepaslike wettige en privaatheidsgrense bly.
Kernpraktyke vir Etiese Scraping
- Respekteer
robots.txtriglyne waar redelik - Beperk versoeke om oorbelasting van teikenbedieners te vermy
- Vermy die versameling van persoonlike data sonder 'n duidelike wettige basis
- Hersien 'n webwerf se Dienstevoorwaardes voordat grootmaatversameling plaasvind
RFC 9309 beskryf robots.txt reëls as reëls wat krapers versoek word om te eerbiedig. Dit sê ook dat dit nie 'n vorm van toegangsauthorisasie is nie.
Die beperking van versoeke is nie net oor die vermyding van opsporing nie. Dit verminder ook die las wat op 'n teikenwebwerf se bedieners geplaas word. In Amerikaanse gevalle het howe oorweeg hoe veel geoutomatiseerde toegang nadelig die webwerf-eienaar se stelsel beïnvloed.