用戶代理旋轉是通過在請求中循環使用各種真實的用戶代理字符串,而不是重複發送相同的字符串,來使自動化流量看起來更像一個多樣化的真實訪客群體的做法。

反機器人系統仍然可以使用用戶代理字符串不變的信號,例如 TLS 指紋(JA3 或 JA4),這可以通過客戶端如何啟動 TLS 連接來識別。

為什麼默認用戶代理突出

常見的 HTTP 工具會自我宣告,除非您更改標頭。curl 會發送 curl/ 及其版本,例如 curl/7.54.1,而 Scrapy 的默認值是 Scrapy/VERSION (+https://scrapy.org)。服務器有時會根據這個標頭決定如何響應。

保持其他信號一致

OWASP 列出了客戶端提示標頭(Sec-CH-UA-*)作為可以與 TLS 指紋進行驗證的已聲明信號。旋轉的用戶代理只是網站可以比較的幾個身份信號之一。

相關術語