道德的网络爬虫是以尊重网站声明的访问规则、避免过载其服务器,并遵循适用的法律和隐私界限的方式收集公开可用的网络数据。
道德爬虫的核心实践
- 在合理的情况下尊重
robots.txt指令 - 限速请求以避免过载目标服务器
- 避免在没有明确法律依据的情况下收集个人数据
- 在大规模收集之前审查网站的服务条款
RFC 9309将robots.txt规则描述为请求爬虫遵守的规则。它还指出,这些规则并不是访问授权的形式。
限速请求不仅仅是为了避免被检测到。它还减少了对目标网站服务器的负载。在美国的案例中,法院考虑了自动访问对网站所有者系统的不利影响。