IP 轮换是通过一组 IP 地址发送外发请求并根据设定规则 切换源 IP 的做法,例如每个请求、每个会话或在设定的时间间隔内。以这种方式分散流量可以降低每个 IP 的请求量,因此每个 IP 的速率限制和禁令对工作影响较小。
IP 轮换是这一技术。一个 轮换代理 是在一个网关地址后为您提供此服务的服务,但您也可以在自己的代码中轮换 IP。具有动态 IP 的家庭连接也可以更改地址,但这是根据网络的时间表,而不是您的。
IP 轮换如何工作
- 获取一个池: 一份代理 IP 列表,或在提供商的 代理池 前面的网关。
- 按规则选择 IP: 为下一个请求或会话选择一个地址。
- 通过它发送请求: 目标网站只看到所选的 IP。
- 休息或丢弃失败的 IP: 当 IP 开始收到阻止响应(如 403 或 429)时,将其停止使用。
轮换规则
- 每个请求: 每个请求使用一个新 IP。重用的连接可以保持相同的 IP,如轮换代理下所述。
- 定时: IP 在固定时间间隔内更改,例如每几分钟。
- 每个会话(粘性): 一个 IP 在会话期间保持,然后替换。请参见 粘性会话。
- 在失败时: 仅在收到阻止或速率限制响应后更改 IP。
- 顺序: 循环使用每个 IP;随机选择则选择任何可用的 IP。
轮换 IP 的方法
| 轮换代理网关 | 在您自己的代码中轮换 | 切换 VPN 服务器 | |
|---|---|---|---|
| 谁选择 IP | 提供商的网关 | 您的脚本,从代理列表中 | 您或 VPN 应用程序 |
| 如何连接 | 一个主机和端口 | 每个请求或会话使用不同的代理 | 整个设备一个隧道 |
| 同时不同的 IP | 是的,按连接或会话 | 是的,按请求 | 不,一个服务器每个连接 |
在代码中,轮换意味着在每个请求上设置代理。例如,Scrapy 从 request.meta['proxy'] 中读取它。有关 VPN 与代理的不同之处,请参见 VPN 与代理。
在一个子网内轮换并不是真正的轮换
网站不仅仅计算单个地址,因此一组相邻的 IP 可以像一个 IP 一样工作:
- 范围: nginx 的
deny指令接受 CIDR 范围,因此一个规则可以阻止整个 子网,例如 /24 中的 256 个地址。 - 网络: Cloudflare 的速率限制规则可以按 AS 号计算请求,因此来自同一网络的每个 IP 都会增加一个计数器。请参见 ASN。
- IPv6 前缀: RFC 6177 规定最终站点应至少获得一个 /64,并且在大多数情况下要多得多。一个站点可以将整个前缀视为一个用户,因此在其中轮换地址几乎没有变化。
重要的是池跨越多少不同的范围和网络,而不仅仅是它持有多少个 IP。
这对网络爬虫意味着什么
- 轮换并不能替代节奏: 当网站回答 429 时,请等待其 Retry-After header 中的时间,而不是立即从新 IP 重试。
- Cookies 可能会超越 IP: Cloudflare 的 "支持 NAT 的 IP" 选项可以通过会话 cookie (
_cfuvid) 识别访客,因此具有相同 cookie jar 的新 IP 可能仍然被视为同一访客。 - 将规则与任务匹配: 对于独立页面按请求轮换,对于登录和结账保持一个 IP。
为什么仅靠轮换还不够
新的 IP 不會改變網站可以看到的其他所有內容。網站可以通過 瀏覽器指紋 連結請求,這是基於用戶代理標頭、窗口大小、安裝的字體以及圖形渲染方式等信號構建的。即使其 IP 被隱藏或 cookies 被阻止,指紋仍然可以識別客戶端。