代理池是一組代理IP地址的集合,從中為每個請求或會話選擇一個IP。這種方式將流量分散到多個地址上,降低了來自任何一個IP的請求數量。
池是地址的集合。IP輪換是從中選擇的規則,而輪換代理是一種為您應用該規則的服務。
代理池的運作方式
在某些服務中,您不需要單獨配置每個代理,而是將請求發送到一個網關端點。對於每個請求,網關(或您自己的軟件)選擇一個可用的IP從池中:
- 選擇: 為請求或會話選擇一個IP,可以是每次新的,也可以保持為粘性會話。
- 發送: 請求從該IP發出,這是目標看到的唯一地址。
- 檢查: 響應顯示該IP是否仍然適用於該目標。
- 休息或移除: 不斷失敗的IP會被暫停或刪除,並添加新的IP。
代理列表與管理池
| 代理列表 | 網關後的管理池 | |
|---|---|---|
| 您配置的內容 | 每個代理的地址和端口 | 一個主機和端口 |
| 誰選擇IP | 您的代碼 | 網關 |
| 死或被封鎖的IP | 您檢測並移除它們 | 供應商處理它們 |
| 會話控制 | 您將會話映射到IP | 通常是添加到代理用戶名的會話ID |
代理池的類型
- 數據中心: 分配給託管提供商的IP。
- 住宅: 消費者連接上的IP。網站將其流量視為來自普通用戶。
- ISP(靜態住宅): 註冊給消費者ISP的IP。
- 移動: 通過運營商網絡路由的流量。
- 混合: 數據中心和住宅IP的組合。
從響應中讀取池的健康狀況
| 響應 | 通常意味著什麼 | 對IP的處理方式 |
|---|---|---|
| 407 需要代理身份驗證 | 代理拒絕了您的憑據,而不是網站 | 保留它並修復代理身份驗證 |
| 429 請求過多 | 網站的速率限制已達到 | 暫停它,並等待任何重試後的時間 |
| 403,或挑戰頁面 | 網站可能正在封鎖該IP或範圍 | 對於該目標將其移除 |
| 超時或拒絕連接 | 代理可能已關閉或無法訪問 | 重試一次,然後移除它 |
Cloudflare用cf-mitigated: challenge標記其挑戰頁面,因此檢查標頭,而不僅僅是狀態碼。請參見IP封鎖以獲取更多封鎖的跡象。
多個品牌可以共享一個池
來自不同供應商的更大池不一定是不同的池。在2026年7月,谷歌的威脅情報團隊報告說,許多流行的住宅代理品牌在其自己的名稱下轉售一個運營商的網絡。它還發現,當自己的網絡縮小時,運營商會從競爭對手那裡購買容量,並稱這個行業為不斷轉售的重疊網絡。
因此,兩個服務可以通過相同的出口設備發送您,而在一個上被封鎖的IP可能已經在另一個上被封鎖。
對網絡爬蟲的影響
- 計算每個 IP 的負載: 將您的請求速率除以正在使用的 IP 數量。例如,600 次請求每分鐘分佈在 100 個 IP 上,則每個 IP 每分鐘大約有 6 次請求。
- 計算網絡,而不僅僅是 IP: 一組相鄰的地址可能會被視為一個範圍。請參見 子網。
- 先規劃佈局: 根據目標和任務劃分池,並評估 IP 健康狀況。請參見 代理池架構 以獲取更完整的設計指南。