用户代理轮换是通过在请求中循环使用多种真实的用户代理字符串的做法,而不是重复发送相同的字符串,以使自动化流量看起来更像是多样化的真实访客群体。
反机器人系统仍然可以使用用户代理字符串不变的信号,例如 TLS 指纹(JA3 或 JA4),该指纹通过客户端如何启动 TLS 连接来识别客户端。
为什么默认用户代理显得突出
常见的 HTTP 工具会宣布自己,除非您更改头部。curl 发送 curl/ 及其版本,例如 curl/7.54.1,而 Scrapy 的默认值是 Scrapy/VERSION (+https://scrapy.org)。服务器有时会根据此头部决定如何响应。
保持其他信号一致
OWASP 列出了客户端提示头部(Sec-CH-UA-*)作为可以与 TLS 指纹进行验证的声明信号。轮换的用户代理只是网站可以比较的几个身份信号之一。