道德的网络爬虫是以尊重网站声明的访问规则、避免过载其服务器,并遵循适用的法律和隐私界限的方式收集公开可用的网络数据。

道德爬虫的核心实践

  • 在合理的情况下尊重robots.txt指令
  • 限速请求以避免过载目标服务器
  • 避免在没有明确法律依据的情况下收集个人数据
  • 在大规模收集之前审查网站的服务条款

RFC 9309将robots.txt规则描述为请求爬虫遵守的规则。它还指出,这些规则并不是访问授权的形式。

限速请求不仅仅是为了避免被检测到。它还减少了对目标网站服务器的负载。在美国的案例中,法院考虑了自动访问对网站所有者系统的不利影响。

相关术语