User-Agent 是一个 HTTP 请求头,允许服务器识别发出请求的客户端的应用程序、操作系统、供应商和版本。W3C 将 User-Agent 头列为 被动指纹识别源,因为它与 HTTP 请求一起发送。
一个典型的 User-Agent 字符串看起来像 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...,识别特定的浏览器版本和平台。
W3C 指出,User-Agent 和 IP 地址通常会唯一标识特定用户的浏览器。
User-Agent 减少和客户端提示
- 减少的字符串: Chrome 现在冻结其 User-Agent 的部分内容。次要版本显示为
0.0.0,桌面平台使用固定的标记,如Windows NT 10.0; Win64; x64,而 Android 报告Android 10; K,无论实际的操作系统版本和设备型号如何。Android 的推出在 2023 年 5 月覆盖了所有 Chrome 110+ 用户。 - 客户端提示: 浏览器可以默认发送低详细度的头信息,如
Sec-CH-UA(主要版本和品牌)、Sec-CH-UA-Mobile和Sec-CH-UA-Platform。服务器请求更详细的提示,例如设备型号,使用Accept-CH响应头。MDN 表示,客户端提示预计最终将取代解析 User-Agent 字符串。
验证声称为 User-Agent 的机器人
请求可以在其 User-Agent 头中声称是任何爬虫。对于声称来自 Google 的访问者,Google 告诉网站所有者对 IP 地址进行反向 DNS 查找,检查域名是否为 googlebot.com、google.com 或 googleusercontent.com,然后进行正向查找确认。对于大规模检查,他们可以将 IP 与 Google 发布的爬虫 IP 范围进行比较。