机器人检测是识别网站、应用程序或 API 的流量是否来自自动化软件或人类的过程。它还将有害的机器人与合法的机器人区分开来,例如搜索引擎爬虫。检测系统根据网络、客户端和用户行为的信号进行评分。结果决定请求是被允许、挑战或阻止。
机器人检测的层次
- 网络级信号: IP 声誉、ASN 过滤
- 客户端级信号: TLS 和浏览器指纹、头部一致性
- 行为信号: 行为遥测、会话感知速率限制
通过一层的请求仍然可能被另一层标记。
某些信号可以相互检查。OWASP 指出,客户端提示头由客户端声明,但可以与其 TLS 指纹进行验证。
验证良性机器人
并非所有自动化流量都是不受欢迎的。例如,搜索引擎爬虫会抓取页面,以便它们可以出现在搜索结果中。由于任何机器人都可以在其 用户代理 中声称自己是爬虫,因此网站会验证 IP 地址。Google 记录了验证 Googlebot 的两种方法:
- DNS 检查: 对 IP 进行反向 DNS 查找。确认主机名以 googlebot.com、google.com 或 googleusercontent.com 结尾。然后进行正向查找并确认返回原始 IP。
- IP 范围: 将 IP 与 Google 在 JSON 中发布的爬虫 IP 范围列表进行匹配。
机器人检测目标的威胁
OWASP 自动化威胁到 Web 应用程序项目列出了 21 种自动化威胁。示例包括:
- 凭证填充 (OAT-008): 大规模登录尝试,测试被盗的用户名和密码对。
- 抓取 (OAT-011): 收集应用程序内容或其他数据以供其他地方使用。
- 黄牛 (OAT-005): 通过不公平手段获取有限供应或优先商品和服务。
- 账户创建 (OAT-019): 创建多个账户以供后续滥用。