回転プロキシは、各リクエスト、各新しい接続、または各時間ウィンドウごとにプールから新しいIPアドレスを自動的に変更するプロキシサービスです。
1つのゲートウェイアドレスに接続し、プロバイダーがターゲットサイトに見える出口IPを選択します。「回転」という言葉は、IPがどのように変わるかを示しており、どこから来るかを示しているわけではありません。プールには、住宅用、データセンター用、モバイル用、またはISPのアドレスが含まれることがあります。
回転プロキシの仕組み
- クライアントが1つのゲートウェイホストとプロキシポートにトラフィックを送信します。通常、ユーザー名とパスワードが必要です。
- ゲートウェイはプロキシプールから出口IPを選択し、そのアドレスからターゲットサイトに接続します。
- ターゲットは出口IPのみを認識します。次のリクエスト、接続、または時間ウィンドウでは、ゲートウェイが異なるIPを選択することができます。
回転方法
- リクエストごとまたは接続ごと: 各新しいリクエストまたは接続には新しい出口IPが割り当てられます。これは、ステートレスなページ取得に適しています。
- 時間による回転: 1つのIPが数分などの設定された期間保持され、その後交換されます。
- スティッキーセッション: スティッキーセッションは、1つのIPをセッション全体に保持するため、ログイン、カート、マルチステップフォームが機能し続けます。
リクエストごとはしばしば接続ごとを意味する
プロキシを介したHTTPSトラフィックは、HTTPのCONNECTメソッドを使用して開かれたトンネル内で実行されます。プロキシは、トンネルが閉じるまで両方向にデータを盲目的に転送しますので、1つのオープントンネルを介して送信されたすべてのリクエストは、同じ接続を介してサイトに到達し、同じ出口IPを表示します。
ほとんどのHTTPクライアントも接続をオープンに保ち、後のリクエストに再利用します。これは持続的またはキープアライブ接続として知られています。HTTP/2はさらに進んで、単一の接続上で多くのリクエストを多重化します。スクレイパーが接続を再利用する場合、いくつかのリクエストが1つのIPを共有することができます。毎回新しいIPを取得するには、各リクエストの後に接続を閉じるか、HTTPクライアントで接続の再利用をオフにしてください。
回転プロキシと静的プロキシ
| 回転プロキシ | 静的プロキシ | |
|---|---|---|
| 出口IP | リクエスト、接続、または時間ウィンドウごとに変更される | 同じまま保持される |
| セッションの継続性 | スティッキーセッションが必要 | 組み込まれている |
| IPごとのリクエスト負荷 | プール全体に分散される | 1つのIPに集中する |
| 一般的な適合 | 大規模なクローリング、ランク追跡、多くのページにわたる価格チェック | ログイン、アカウント作業、IPホワイトリスト |
固定IPがより良い選択である場合は、静的プロキシを参照してください。
回転プロキシの種類
回転は任意のIPタイプで実行できます:
- 住宅用: 消費者ISPによって割り当てられた家庭用IP。
- データセンター: ホスティングプロバイダーからのIP、ホスティングASNの下にグループ化されています。
- モバイル: 多くの電話ユーザーが共有するキャリアIP。
- ISP: 消費者ISPに登録されているが、データセンターにホストされているIP。
ウェブスクレイピングにおける意味
- 回転はIPごとのカウントを分散させる: Cloudflareの無料およびプロプランでは、レート制限ルールはIPごとにリクエストをカウントします。プール全体にリクエストを分散させることで、各IPのカウントを低く保つことができます。レート制限を参照してください。
- 方法を仕事に合わせる: 独立したページ(例:ランク追跡のための検索結果)にはリクエストごとの回転を使用し、ログインやセッションクッキーに依存するものにはスティッキーセッションを使用します。
回転プロキシの制限
回転はIPアドレスのみを変更します。クッキー、アカウントログイン、ブラウザフィンガープリンティングは依然としてあなたを特定することができます。W3Cのフィンガープリンティングガイダンスは、ネットワークルートを変更するTorユーザーがブラウザフィンガープリンティングを通じてリンクされる可能性があること、またVPNを使用してもそれを防ぐことはできないと指摘しています。
- レート制限は必ずしもIPごとではない: Cloudflareのエンタープライズプランの高度なレート制限では、ルールはIPによるリクエストをカウントできますが、ヘッダー、クッキー、クエリパラメータの値、ASN、国、JA3/JA4 TLSフィンガープリンティング、またはJWTクレームによってもカウントされます。新しいIPはそれらに基づく制限をリセットしません。
- セッション中のIP変更はセッションを終了させる可能性がある: OWASPは、セッションをクライアントのプロパティ(IPアドレスなど)にバインドし、確立されたセッション中の変更をハイジャックの可能性がある兆候として扱い、警告または終了することを推奨しています。スティッキーセッションは、設定された期間中に1つのIPを保持し、これを回避します。
- 追加の暗号化はない: 回転はトラフィックを自動的に暗号化しません。HTTPSサイトは、プロキシがトンネルのバイトを中継するだけなので、エンドツーエンドで暗号化されたままです。