旋轉代理是一種代理服務,會自動更改外發 IP 地址,為每個請求、每個新連接或每個時間窗口從池中提取一個新的 IP。

您連接到一個網關地址,提供商選擇目標網站看到的出口 IP。 "旋轉" 描述的是 IP 如何變化,而不是它來自哪裡:該池可以包含住宅、數據中心、移動或 ISP 地址。

旋轉代理的工作原理

  1. 您的客戶端將流量發送到一個網關主機和代理端口,通常需要用戶名和密碼。
  2. 網關從其代理池中選擇一個出口 IP,並從該地址連接到目標網站。
  3. 目標僅看到出口 IP。在下一個請求、連接或時間窗口中,網關可以選擇不同的 IP。

旋轉方法

  • 每請求或每連接: 每個新請求或連接獲得一個新的出口 IP。這適合無狀態的頁面抓取。
  • 定時旋轉: 一個 IP 在設定的時間內保持,例如幾分鐘,然後被替換。
  • 粘性會話: 粘性會話 在整個會話中保持一個 IP,因此登錄、購物車和多步表單可以繼續工作。

每請求通常意味著每連接

通過代理的 HTTPS 流量在使用 HTTP CONNECT 方法 打開的隧道內運行。然後,代理在兩個方向上盲目轉發數據,直到隧道關閉,因此通過一個打開的隧道發送的每個請求都通過相同的連接到達網站並顯示相同的出口 IP。

大多數 HTTP 客戶端也保持連接打開並重用它們進行後續請求,稱為持久或保持活動連接。HTTP/2 更進一步,並在單個連接上多路復用多個請求。如果您的抓取器重用連接,即使在每請求計劃中,幾個請求也可以共享一個 IP。要每次獲得新 IP,請在每個請求後關閉連接或在您的 HTTP 客戶端中關閉連接重用。

旋轉代理與靜態代理

旋轉代理靜態代理
出口 IP每請求、連接或時間窗口變更保持不變
會話連續性需要粘性會話內建
每個 IP 的請求負載在池中分散全部在一個 IP 上
典型適用大規模抓取、排名跟踪、跨多頁的價格檢查登錄、帳戶工作、IP 白名單

請參見靜態代理,以了解何時固定 IP 是更好的選擇。

旋轉代理的類型

旋轉可以在任何 IP 類型上運行:

  • 住宅: 由消費者 ISP 指派的家庭 IP。
  • 數據中心: 來自托管提供商的 IP,按托管 ASN 分組。
  • 移動: 許多手機用戶經常共享的運營商 IP。
  • ISP: 註冊給消費者 ISP 但托管在數據中心的 IP。

對網絡抓取的影響

  • 旋轉分散每個 IP 的計數: 在 Cloudflare 的免費和專業計劃中,速率限制規則僅按 IP 計算請求。將請求分散到池中可以保持每個 IP 的計數較低。請參見速率限制。
  • 將方法與工作匹配: 對於獨立頁面,例如排名跟踪的搜索結果,使用每請求旋轉。對於任何依賴於登錄或會話 Cookie 的內容,使用粘性會話。

旋轉代理的限制

旋轉僅改變您的 IP。Cookies、帳戶登錄和瀏覽器指紋識別仍然可以識別您。W3C 的指紋識別指導指出,Tor 用戶雖然改變了其網絡路由,但仍然可以通過瀏覽器指紋識別進行鏈接,而使用 VPN 也無法防止這一點。

  • 速率限制不一定是按 IP 計算的: 在 Cloudflare 的企業計劃中,使用高級速率限制,規則可以按 IP、標頭、cookie 或查詢參數值、ASN、國家、JA3/JA4 TLS 指紋或 JWT 聲明計算請求。新的 IP 不會重置基於這些的限制。
  • 會話中途更改 IP 可能會結束會話: OWASP 建議將會話綁定到客戶端屬性,例如 IP 地址,並將在已建立的會話中發生的更改視為可能的劫持跡象,並可以發出警報或終止。穩定會話在一定時間內保持一個 IP,從而避免這種情況。
  • 沒有額外的加密: 旋轉本身不會加密流量。HTTPS 網站保持端到端加密,因為代理僅轉發隧道的字節。

相關術語