代理池是一个代理IP地址的集合,从中为每个请求或会话选择一个IP。通过这种方式将流量分散到多个地址,可以降低来自任何一个IP的请求数量。
池是地址的集合。IP轮换是从中选择的规则,而轮换代理是为您应用该规则的服务。
代理池的工作原理
在某些服务中,您无需单独配置每个代理,而是将请求发送到一个网关端点。对于每个请求,网关(或您自己的软件)从池中选择一个可用的IP:
- 选择: 为请求或会话选择一个IP,可以是每次新选择,或保持为粘性会话。
- 发送: 请求从该IP发出,这是目标看到的唯一地址。
- 检查: 响应显示该IP是否仍然适用于该目标。
- 休息或移除: 不断失败的IP会被暂停或删除,并添加新的IP。
代理列表与管理池
| 代理列表 | 网关后面的管理池 | |
|---|---|---|
| 您配置的内容 | 每个代理的地址和端口 | 一个主机和端口 |
| 选择IP的人 | 您的代码 | 网关 |
| 死亡或被阻止的IP | 您检测并移除它们 | 提供商处理它们 |
| 会话控制 | 您将会话映射到IP | 通常在代理用户名中添加会话ID |
代理池的类型
- 数据中心: 分配给托管提供商的IP。
- 住宅: 在消费者连接上的IP。网站将其流量视为来自普通用户。
- ISP(静态住宅): 注册到消费者ISP的IP。
- 移动: 通过运营商网络路由的流量。
- 混合: 数据中心和住宅IP的组合。
从响应中读取池的健康状况
| 响应 | 通常意味着什么 | 对IP的处理 |
|---|---|---|
| 407 代理身份验证所需 | 代理拒绝了您的凭据,而不是网站 | 保留它并修复代理身份验证 |
| 429 请求过多 | 网站的速率限制已达到 | 暂停它,并等待任何重试后时间 |
| 403,或挑战页面 | 网站可能正在阻止该IP或范围 | 将其移除以针对该目标 |
| 超时或拒绝连接 | 代理可能已关闭或无法访问 | 重试一次,然后将其移除 |
Cloudflare用cf-mitigated: challenge头标记其挑战页面,因此请检查头,而不仅仅是状态代码。有关阻止的更多迹象,请参见IP禁止。
多个品牌可以共享一个池
来自不同提供商的更大池不一定是不同的池。在2026年7月,谷歌的威胁情报团队报告称,许多流行的住宅代理品牌在以自己的名字转售一个运营商的网络。它还发现,运营商在自己的网络缩小时会从竞争对手那里购买容量,并称该行业为不断转售的重叠网络之一。
因此,两个服务可以通过相同的出口设备发送您,而一个被阻止的IP在另一个上也可能已经被阻止。
这对网络爬虫意味着什么
- 计算每个IP的负载: 将您的请求速率除以正在使用的IP数量。例如,600个请求每分钟分布在100个IP上,每个IP大约有6个请求每分钟。
- 计算网络,而不仅仅是IP: 一组相邻的地址可能会被作为一个范围阻止。请参见subnet。
- 先规划布局: 按目标和任务对池进行分段,并评估IP健康状况。有关更完整的设计指南,请参见proxy pool architecture。