プロキシプールは、各リクエストまたはセッションのためにIPが選ばれるプロキシIPアドレスのコレクションです。この方法でトラフィックを多くのアドレスに分散させることで、特定のIPからのリクエスト数を減らします。
プールはアドレスのセットです。IPローテーションはその中から選ぶためのルールであり、ローテーティングプロキシはそのルールを適用するサービスです。
プロキシプールの仕組み
一部のサービスでは、各プロキシを個別に設定する代わりに、1つのゲートウェイエンドポイントにリクエストを送信します。各リクエストに対して、ゲートウェイ(または自分のソフトウェア)がプールから利用可能なIPを選択します:
- 選択: リクエストまたはセッションのためにIPが選ばれます。毎回新しいものを選ぶか、スティッキーセッションとして保持されます。
- 送信: リクエストはそのIPから出発し、ターゲットが見る唯一のアドレスです。
- 確認: レスポンスは、そのIPがそのターゲットでまだ機能するかどうかを示します。
- 休止または削除: 失敗し続けるIPは一時停止または削除され、新しいものが追加されます。
プロキシリストと管理されたプール
| プロキシリスト | ゲートウェイの背後にある管理されたプール | |
|---|---|---|
| 設定するもの | 各プロキシのアドレスとポート | 1つのホストとポート |
| IPを選ぶのは | あなたのコード | ゲートウェイ |
| 死亡またはブロックされたIP | あなたが検出して削除 | プロバイダーが処理 |
| セッション管理 | あなたがセッションをIPにマッピング | プロキシユーザー名にセッションIDが追加されることが多い |
プロキシプールの種類
- データセンター: ホスティングプロバイダーに割り当てられたIP。
- 住宅用: 消費者接続のIP。ウェブサイトはそのトラフィックを通常のユーザーからのものとして認識します。
- ISP(静的住宅用): 消費者ISPに登録されたIP。
- モバイル: キャリアネットワークを通じてルーティングされたトラフィック。
- 混合: データセンターと住宅用IPの組み合わせ。
レスポンスからプールの健康状態を読む
| レスポンス | 通常の意味 | IPに対する対処法 |
|---|---|---|
| 407 プロキシ認証が必要 | プロキシがあなたの認証情報を拒否したが、サイトは拒否していない | それを保持し、プロキシ認証を修正 |
| 429 リクエストが多すぎます | サイトのレート制限に達した | 一時停止し、Retry-After時間を待つ |
| 403、またはチャレンジページ | サイトがそのIPまたは範囲をブロックしている可能性があります | そのターゲットから削除 |
| タイムアウトまたは接続拒否 | プロキシがダウンしているか、到達不能である可能性があります | 一度再試行し、その後削除 |
Cloudflareはそのチャレンジページにcf-mitigated: challengeヘッダーを付けるため、ステータスコードだけでなくヘッダーも確認してください。IP禁止についてのブロックの兆候を確認してください。
多くのブランドが1つのプールを共有できる
異なるプロバイダーからの大きなプールが必ずしも異なるプールであるとは限りません。2026年7月、Googleの脅威インテリジェンスチームは、多くの人気のある住宅用プロキシブランドが自社の名前の下で1つのオペレーターのネットワークを再販していると報告しました。また、オペレーターが自社のネットワークが縮小したときに競合から容量を購入することも発見し、業界は常に再販される重複したネットワークの1つであると呼びました。
したがって、2つのサービスが同じ出口デバイスを通じてあなたを送信することができ、1つでブロックされたIPはすでに他のサービスでブロックされている可能性があります。
ウェブスクレイピングにとっての意味
- IPごとの負荷を計算する: リクエストレートを使用中のIP数で割ります。例えば、100のIPで1分間に600リクエストを行うと、各IPに対して約1分間に6リクエストがかかります。
- IPだけでなくネットワークを数える: 隣接するアドレスのプールは、一つの範囲としてブロックされる可能性があります。詳細はsubnetを参照してください。
- レイアウトを最初に計画する: ターゲットとタスクによってプールをセグメント化し、IPの健康状態を評価します。詳細な設計ガイドについてはproxy pool architectureを参照してください。