反机器人系统是一种软件,它筛选访问网站或API的流量,并决定每个请求是来自人类还是机器人,使用的信号包括IP声誉、浏览器指纹和行为。它允许像搜索引擎爬虫这样的良性机器人,并对其判断为恶意的流量进行挑战、速率限制或阻止。

Cloudflare将机器人管理定义为阻止不需要或恶意的机器人流量,同时让有用的机器人继续工作。

机器人评分与允许或阻止决策

一些反机器人系统对请求进行评分,而不是做出二元的允许或阻止决策。例如,Cloudflare为每个请求提供1到99的机器人评分,网站所有者可以根据该评分编写规则来阻止、挑战或允许请求。

反机器人系统保护的内容

常见的目标包括:

  • 凭证填充和暴力登录尝试
  • 数据抓取和电子邮件地址收集
  • DoS和DDoS攻击
  • 广告欺诈和点击欺诈
  • 库存囤积和购物车填充,例如机器人抢购活动门票

良性机器人与恶性机器人

并非所有自动化流量都是不需要的。良性机器人执行有用的工作,例如搜索引擎爬虫、客户服务聊天机器人和性能监控机器人,它们通常遵循网站的robots.txt文件中的规则。恶性机器人则滥用网站,从入侵账户到抢购门票。机器人管理者可以将已知的良性机器人放入允许列表,以便它们保持访问权限,而其他机器人则会被筛选。

相关术语