IP 旋轉是透過一組 IP 地址發送外部請求並根據設定的規則 切換來源 IP 的做法,例如每個請求、每個會話或在設定的時間間隔內。這樣分散流量可以保持每個 IP 的請求量較低,因此每個 IP 的速率限制和封鎖對工作影響較小。

IP 旋轉是這種技術。一個 旋轉代理 是一個在一個網關地址後為您執行此操作的服務,但您也可以在自己的代碼中旋轉 IP。家庭連接的動態 IP 也可以改變地址,但根據網絡的時間表,而不是您的。

IP 旋轉如何運作

  1. 獲取一組 IP: 一個代理 IP 的列表,或在提供商的 代理池 前的網關。
  2. 根據規則選擇 IP: 為下一個請求或會話選擇一個地址。
  3. 通過它發送請求: 目標網站僅看到所選的 IP。
  4. 休息或丟棄失敗的 IP: 當 IP 開始收到封鎖響應(例如 403 或 429)時,將其從使用中移除。

旋轉規則

  • 每個請求: 每個請求使用一個新 IP。重複使用的連接可以保持相同的 IP,如旋轉代理下所述。
  • 定時: IP 在固定的時間間隔內變更,例如每幾分鐘。
  • 每個會話(粘性): 一個 IP 在一個會話中保持,然後被替換。參見 粘性會話。
  • 在失敗時: 只有在封鎖或速率限制響應後才更改 IP。
  • 順序: 循環使用每個 IP;隨機選擇任意可用的 IP。

旋轉 IP 的方法

旋轉代理網關在您自己的代碼中旋轉切換 VPN 伺服器
選擇 IP 的人提供商的網關您的腳本,從代理列表中選擇您或 VPN 應用程序
連接方式一個主機和端口每個請求或會話使用不同的代理整個設備使用一個隧道
同時不同的 IP是的,每個連接或會話是的,每個請求否,每個連接一個伺服器

在代碼中,旋轉意味著在每個請求中設置代理。例如,Scrapy 從 request.meta['proxy'] 中讀取。要了解 VPN 與代理的區別,請參見 VPN 與代理。

在一個子網內旋轉並不是真正的旋轉

網站不僅僅計算單一地址,因此一組相鄰的 IP 可以像一個 IP 一樣運作:

  • 範圍: nginx 的 deny 指令接受 CIDR 範圍,因此一個規則可以封鎖整個 子網,例如 /24 中的 256 個地址。
  • 網絡: Cloudflare 的速率限制規則可以按 AS 編號計算請求,因此來自同一網絡的每個 IP 都會增加到一個計數器。參見 ASN。
  • IPv6 前綴: RFC 6177 說明最終網站應至少獲得一個 /64,並且在大多數情況下更多。一個網站可以將整個前綴視為一個用戶,因此在其內部旋轉地址變化不大。

重要的是一組 IP 涵蓋了多少不同的範圍和網絡,而不僅僅是擁有多少 IP。

對於網頁抓取的意義

  • 旋轉並不取代節奏: 當網站回應 429 時,請等待其 Retry-After header 中的時間,而不是立即從新 IP 重試。
  • Cookies 可能超過 IP 的壽命: Cloudflare 的 "支持 NAT 的 IP" 選項可以通過會話 cookie (_cfuvid) 識別訪問者,因此使用相同 cookie jar 的新 IP 可能仍然被視為相同的訪問者。
  • 將規則與任務匹配: 對於獨立頁面進行每個請求的旋轉,並在登錄和結帳時保持一個 IP。

為什麼僅僅旋轉是不夠的

新的 IP 並不會改變網站可以看到的其他所有內容。網站可以通過 瀏覽器指紋 連結請求,這些指紋是基於如 User-Agent 標頭、視窗大小、已安裝字體以及圖形渲染方式等信號構建的。即使其 IP 被隱藏或 cookies 被阻止,指紋仍然可以識別客戶端。

相關術語