旋转代理是一种代理服务,它会自动更改外发IP地址,为每个请求、每个新连接或每个时间窗口从池中提取一个新的IP。
您连接到一个网关地址,提供商选择目标网站看到的出口IP。"旋转"描述的是IP如何变化,而不是它来自哪里:池中可以包含住宅、数据中心、移动或ISP地址。
旋转代理的工作原理
- 您的客户端将流量发送到一个网关主机和代理端口,通常需要用户名和密码。
- 网关从其代理池中选择一个出口IP,并从该地址连接到目标网站。
- 目标仅看到出口IP。在下一个请求、连接或时间窗口中,网关可以选择不同的IP。
旋转方法
- 按请求或按连接: 每个新请求或连接都会获得一个新的出口IP。这适合无状态页面抓取。
- 定时旋转: 一个IP在设定的时间内保持,例如几分钟,然后被替换。
- 粘性会话: 粘性会话在整个会话中保持一个IP,因此登录、购物车和多步骤表单可以继续工作。
每请求通常意味着每连接
通过代理的HTTPS流量在使用HTTP CONNECT方法打开的隧道内运行。代理然后在两个方向上盲目转发数据,直到隧道关闭,因此通过一个打开的隧道发送的每个请求都通过同一连接到达网站,并显示相同的出口IP。
大多数HTTP客户端也保持连接打开,并在后续请求中重用它们,这被称为持久连接或保持活动连接。HTTP/2更进一步,通过单个连接复用多个请求。如果您的抓取工具重用连接,即使在每请求计划中,多个请求也可以共享一个IP。要每次获得新的IP,请在每个请求后关闭连接或在您的HTTP客户端中关闭连接重用。
旋转代理与静态代理
| 旋转代理 | 静态代理 | |
|---|---|---|
| 出口IP | 每个请求、连接或时间窗口更改 | 保持不变 |
| 会话连续性 | 需要粘性会话 | 内置 |
| 每个IP的请求负载 | 分散在池中 | 全部在一个IP上 |
| 典型适用场景 | 大规模抓取、排名跟踪、跨多个页面的价格检查 | 登录、账户工作、IP白名单 |
请参阅静态代理以了解何时固定IP是更好的选择。
旋转代理的类型
旋转可以在任何IP类型上运行:
对网络抓取的意义
- 旋转分散每个IP的计数: 在Cloudflare的免费和专业计划中,速率限制规则仅按IP计数请求。在池中分散请求可以保持每个IP的计数较低。请参阅速率限制。
- 将方法与工作匹配: 对于独立页面,例如排名跟踪的搜索结果,使用按请求旋转。对于任何依赖于登录或会话cookie的内容,使用粘性会话。
旋转代理的限制
旋转仅更改您的 IP。Cookies、账户登录和浏览器指纹识别仍然可以识别您。W3C 的指纹识别指南指出,Tor 用户虽然更改了网络路由,但仍然可以通过浏览器指纹识别进行关联,而使用 VPN 也无法防止这种情况。
- 速率限制并不总是按 IP 计算: 在 Cloudflare 的企业计划中,使用高级速率限制时,规则可以按 IP、头部、Cookie 或查询参数值、ASN、国家、JA3/JA4 TLS 指纹或 JWT 声明来计算请求。新的 IP 不会重置基于这些的限制。
- 会话中途更改 IP 可能会结束会话: OWASP 建议将会话绑定到客户端属性,例如 IP 地址,并将已建立会话中的更改视为可能的劫持迹象,可以进行警报或终止。粘性会话在设定的时间内保持一个 IP,从而避免这种情况。
- 没有额外的加密: 旋转本身并不加密流量。HTTPS 网站保持端到端加密,因为代理仅转发隧道的字节。