IP 轮换是通过一组 IP 地址发送出站请求并根据设定规则 切换源 IP 的做法,例如每个请求、每个会话或在设定的时间间隔内。以这种方式分散流量可以保持每个 IP 的请求量较低,因此每个 IP 的速率限制和封禁对工作影响较小。
IP 轮换是这一技术。一个 轮换代理 是一个在一个网关地址后为您执行此操作的服务,但您也可以在自己的代码中轮换 IP。家庭连接的动态 IP 也可以更改地址,但这是根据网络的时间表,而不是您的。
IP 轮换如何工作
- 获取一个池: 一份代理 IP 列表,或一个位于提供商的 代理池 前面的网关。
- 按规则选择 IP: 为下一个请求或会话选择一个地址。
- 通过它发送请求: 目标网站只看到所选的 IP。
- 休息或丢弃失败的 IP: 当 IP 开始收到阻止响应(例如 403 或 429)时,将其停止使用。
轮换规则
- 每个请求: 每个请求使用一个新 IP。重用的连接可以保持相同的 IP,如轮换代理下所述。
- 定时: IP 在固定时间间隔内更改,例如每几分钟。
- 每个会话(粘性): 一个 IP 在会话中保持,然后被替换。请参见 粘性会话。
- 在失败时: 仅在收到阻止或速率限制响应后更改 IP。
- 顺序: 循环使用每个 IP;随机选择则选择任何可用的 IP。
轮换 IP 的方式
| 轮换代理网关 | 在您自己的代码中轮换 | 切换 VPN 服务器 | |
|---|---|---|---|
| 选择 IP 的人 | 提供商的网关 | 您的脚本,从代理列表中选择 | 您或 VPN 应用 |
| 连接方式 | 一个主机和端口 | 每个请求或会话一个不同的代理 | 整个设备一个隧道 |
| 同时不同的 IP | 是的,按连接或会话 | 是的,按请求 | 否,每个连接一个服务器 |
在代码中,轮换意味着在每个请求中设置代理。例如,Scrapy 从 request.meta['proxy'] 中读取。有关 VPN 与代理的不同之处,请参见 VPN 与代理。
在一个子网内轮换并不是真正的轮换
网站不仅仅计算单个地址,因此一组相邻的 IP 可以像一个 IP 一样工作:
- 范围: nginx 的
deny指令接受 CIDR 范围,因此一个规则可以阻止整个 子网,例如 /24 中的 256 个地址。 - 网络: Cloudflare 的速率限制规则可以按 AS 号计算请求,因此来自同一网络的每个 IP 都会增加一个计数器。请参见 ASN。
- IPv6 前缀: RFC 6177 规定最终站点应至少获得一个 /64,并且在大多数情况下要多得多。一个网站可以将整个前缀视为一个用户,因此在其内部轮换地址几乎没有变化。
重要的是池跨越了多少个不同的范围和网络,而不仅仅是它持有多少个 IP。
对网络爬虫的意义
- 轮换并不能替代节奏: 当网站返回 429 时,请等待其 Retry-After header 中的时间,而不是立即从新 IP 重试。
- Cookies 可以超越 IP: Cloudflare 的 "支持 NAT 的 IP" 选项可以通过会话 cookie (
_cfuvid) 识别访问者,因此使用相同 cookie jar 的新 IP 可能仍然被视为同一访问者。 - 将规则与任务匹配: 对于独立页面按请求轮换,对于登录和结账保持一个 IP。
为什么仅靠轮换是不够的
新的IP并不会改变网站可以看到的其他所有内容。网站可以通过浏览器指纹将请求关联起来,这些指纹是基于用户代理头、窗口大小、已安装字体以及图形渲染方式等信号构建的。即使隐藏了IP或阻止了Cookies,指纹仍然可以识别客户端。