道德的 网络爬虫 是以尊重网站声明的访问规则、避免过载其服务器,并遵循适用的法律和隐私界限的方式收集公开可用的网络数据。
道德爬虫的核心实践
- 在合理的情况下尊重
robots.txt指令 - 限制请求速率 以避免过载目标服务器
- 避免在没有明确法律依据的情况下收集个人数据
- 在大规模收集之前审查网站的服务条款
RFC 9309 将 robots.txt 规则描述为请求爬虫遵守的规则。它还表示,这些规则并不是访问授权的形式。
限制请求速率不仅仅是为了避免被检测。它还减少了对目标网站服务器的负担。在美国的案例中,法院考虑了自动访问对网站所有者系统的不利影响。