道德的 网络爬虫 是以尊重网站声明的访问规则、避免过载其服务器,并遵循适用的法律和隐私界限的方式收集公开可用的网络数据。

道德爬虫的核心实践

  • 在合理的情况下尊重 robots.txt 指令
  • 限制请求速率 以避免过载目标服务器
  • 避免在没有明确法律依据的情况下收集个人数据
  • 在大规模收集之前审查网站的服务条款

RFC 9309 将 robots.txt 规则描述为请求爬虫遵守的规则。它还表示,这些规则并不是访问授权的形式。

限制请求速率不仅仅是为了避免被检测。它还减少了对目标网站服务器的负担。在美国的案例中,法院考虑了自动访问对网站所有者系统的不利影响。

相关术语