旋轉代理是一種代理服務,會自動更改外發的IP地址,每次請求、每個新連接或每個時間窗口都會從池中抽取一個新的IP。
您連接到一個網關地址,提供商選擇目標網站看到的出口IP。"旋轉"描述的是IP的變化,而不是它的來源:該池可以包含住宅、數據中心、移動或ISP地址。
旋轉代理的工作原理
- 您的客戶端將流量發送到一個網關主機和代理端口,通常會帶有用戶名和密碼。
- 網關從其代理池中選擇一個出口IP,並從該地址連接到目標網站。
- 目標僅看到出口IP。在下一次請求、連接或時間窗口中,網關可以選擇不同的IP。
旋轉方法
- 每請求或每連接: 每個新請求或連接都會獲得一個新的出口IP。這適合無狀態的頁面獲取。
- 定時旋轉: 一個IP會保持一段時間,例如幾分鐘,然後被替換。
- 粘性會話: 粘性會話在整個會話中保持一個IP,因此登錄、購物車和多步表單可以繼續運作。
每請求通常意味著每連接
通過代理的HTTPS流量在使用HTTP CONNECT方法打開的隧道內運行。然後,代理在雙向中盲目轉發數據,直到隧道關閉,因此通過一個打開的隧道發送的每個請求都通過相同的連接到達網站,並顯示相同的出口IP。
大多數HTTP客戶端也會保持連接打開並重用它們進行後續請求,稱為持久或保持活動連接。HTTP/2更進一步,並在單個連接上多路復用多個請求。如果您的爬蟲重用連接,則即使在每請求計劃中,幾個請求也可以共享一個IP。要每次獲得新的IP,請在每次請求後關閉連接或在您的HTTP客戶端中關閉連接重用。
旋轉代理與靜態代理
| 旋轉代理 | 靜態代理 | |
|---|---|---|
| 出口IP | 每請求、連接或時間窗口變化 | 保持不變 |
| 會話連續性 | 需要粘性會話 | 內置 |
| 每個IP的請求負載 | 分散在池中 | 所有在一個IP上 |
| 典型適用 | 大規模爬取、排名跟蹤、跨多個頁面的價格檢查 | 登錄、帳戶工作、IP白名單 |
請參見靜態代理,了解何時固定IP是更好的選擇。
旋轉代理的類型
旋轉可以在任何IP類型上運行:
對網絡爬蟲的意義
- 旋轉分散每個IP的計數: 在Cloudflare的免費和專業計劃中,速率限制規則僅按IP計算請求。將請求分散在池中可以保持每個IP的計數較低。請參見速率限制。
- 將方法與工作匹配: 對於獨立頁面,例如排名跟蹤的搜索結果,使用每請求旋轉。對於任何依賴於登錄或會話cookie的內容,使用粘性會話。
旋轉代理的限制
旋轉僅改變您的 IP。Cookies、帳戶登錄和瀏覽器指紋識別仍然可以識別您。W3C 的指紋識別指導 指出,Tor 用戶雖然改變了他們的網絡路由,但仍然可以通過瀏覽器指紋識別來鏈接,使用 VPN 也無法防止這一點。
- 速率限制不一定是按 IP 計算的: 在 Cloudflare 的企業計劃中,使用高級速率限制,規則可以按 IP、標頭、cookie 或查詢參數值、ASN、國家、JA3/JA4 TLS 指紋或 JWT 聲明來計算請求。新的 IP 不會重置基於這些的限制。
- 會話中途更改 IP 可能會結束會話: OWASP 建議將會話綁定到客戶端屬性,例如 IP 地址,並將在已建立的會話中發生的更改視為可能的劫持跡象,可以進行警報或終止。粘性會話在設定的時間內保持一個 IP,從而避免這種情況。
- 沒有額外的加密: 旋轉本身不會加密流量。HTTPS 網站保持端到端加密,因為代理僅轉發隧道的字節。