IP 旋轉是通過一組 IP 地址發送外發請求並根據設定的規則 切換源 IP 的做法,例如每個請求、每個會話或在設定的時間間隔內。這樣分散流量可以保持每個 IP 的請求量較低,因此每個 IP 的速率限制和禁止影響的工作量較少。
IP 旋轉是一種技術。 旋轉代理 是一種在一個網關地址後為您執行此操作的服務,但您也可以在自己的代碼中旋轉 IP。家庭連接的動態 IP 也可以更改地址,但根據網絡的計劃,而不是您的。
IP 旋轉的工作原理
- 獲取一個池: 一個代理 IP 的列表,或一個位於提供商的 代理池 前面的網關。
- 按規則選擇 IP: 為下一個請求或會話選擇一個地址。
- 通過它發送請求: 目標網站僅看到所選的 IP。
- 休息或丟棄失敗的 IP: 當 IP 開始收到阻止響應(例如 403 或 429)時,將其停止使用。
旋轉規則
- 每個請求: 每個請求使用一個新的 IP。重用的連接可以保持相同的 IP,如旋轉代理下所解釋的。
- 定時: IP 在固定的時間間隔內更改,例如每幾分鐘。
- 每個會話(粘性): 一個 IP 在一個會話中保持,然後被替換。請參見 粘性會話。
- 在失敗時: 只有在阻止或速率限制響應後才更改 IP。
- 順序: 循環使用每個 IP;隨機選擇則隨機挑選任何可用的 IP。
旋轉 IP 的方法
| 旋轉代理網關 | 在您自己的代碼中旋轉 | 切換 VPN 伺服器 | |
|---|---|---|---|
| 誰選擇 IP | 提供商的網關 | 您的腳本,從代理列表中選擇 | 您或 VPN 應用程序 |
| 連接方式 | 一個主機和端口 | 每個請求或會話使用不同的代理 | 整個設備使用一個隧道 |
| 同時不同的 IP | 是的,每個連接或會話 | 是的,每個請求 | 否,每個連接一個伺服器 |
在代碼中,旋轉意味著在每個請求中設置代理。例如,Scrapy 從 request.meta['proxy'] 中讀取。要了解 VPN 與代理的區別,請參見 VPN 與代理。
在一個子網內旋轉並不是真正的旋轉
網站不僅僅計算單個地址,因此一組相鄰的 IP 可以像一個 IP 一樣運作:
- 範圍: nginx 的
deny指令接受 CIDR 範圍,因此一個規則可以阻止整個 子網,例如 /24 中的 256 個地址。 - 網絡: Cloudflare 的速率限制規則可以按 AS 編號計算請求,因此來自同一網絡的每個 IP 都會增加到一個計數器中。請參見 ASN。
- IPv6 前綴: RFC 6177 說明最終網站應至少獲得一個 /64,並且在大多數情況下要多得多。一個網站可以將整個前綴視為一個用戶,因此在其內部旋轉地址變化不大。
重要的是一個池跨越多少不同的範圍和網絡,而不僅僅是它擁有多少個 IP。
對於網頁抓取的意義
- 旋轉並不能替代節奏: 當網站回應 429 時,請等待其 Retry-After header 中的時間,而不是立即從新 IP 重試。
- Cookies 可能會超過 IP: Cloudflare 的 "支持 NAT 的 IP" 選項可以通過會話 cookie (
_cfuvid) 識別訪問者,因此使用相同 cookie jar 的新 IP 可能仍然被視為相同的訪問者。 - 將規則與任務匹配: 對於獨立頁面每個請求旋轉,對於登錄和結帳保持一個 IP。
為什麼僅僅旋轉是不夠的
新的 IP 不會改變網站可以看到的其他所有內容。網站可以通過 瀏覽器指紋 連結請求,這是根據用戶代理標頭、窗口大小、安裝的字體以及圖形渲染方式等信號構建的。即使其 IP 被隱藏或 cookies 被阻止,指紋也能識別客戶端。