HTTPプロキシは、クライアントのHTTPリクエストを受信し、それを宛先サーバーに転送し、応答をクライアントに返すサーバーです。HTTPSサイトの場合、クライアントはCONNECTメソッドを使用してプロキシを通じてトンネルを開き、プロキシは暗号化されたトラフィックを中継しますが、それを読むことはできません。
HTTPプロキシは、通過する非暗号化HTTPトラフィックを読み取り、さらには変更することができるため、機密データはHTTPSを介して送信する必要があります。この場合、プロキシは暗号化されたトラフィックをトンネルするだけです。
HTTPプロキシがリクエストを処理する方法
- クライアントは、ウェブサイトの代わりにプロキシにリクエストを送信します。プレーンHTTPの場合は完全なターゲットURLを使用し、HTTPSの場合は
CONNECT host:443リクエストを送信します。 - プロキシがログインを必要とする場合、クライアントは
Proxy-Authorizationヘッダーを追加します。 - HTTPの場合、プロキシはリクエストを宛先に転送します。CONNECTの場合、プロキシは2xxステータスで応答し、トンネルモードに切り替えます。
- 応答はプロキシを通じてクライアントに戻ります。
フォワードプロキシ、リバースプロキシ、透明プロキシ
- フォワードプロキシ: クライアントの代理として機能し、ウェブサイトからのアイデンティティを隠すことができます。ユーザーは、ブラウジング中にIPアドレスを隠すために設定できます。
- リバースプロキシ: ウェブサーバーの代理として機能し、負荷分散や静的コンテンツのキャッシングなどの作業を処理します。
- 透明(インターセプト)プロキシ: ネットワークパスに配置され、クライアントはそれを設定せず、そこに存在することを知らない場合があります。
HTTPプロキシとSOCKS5プロキシ
| HTTPプロキシ | SOCKS5プロキシ | |
|---|---|---|
| 理解する内容 | HTTPリクエストとレスポンス | トランスポート層以上のものは理解しない; HTTPとして読み取らずにデータを中継します |
| 運ぶトラフィック | ウェブトラフィック、HTTPSはCONNECTトンネルを通過します | SOCKSをサポートする任意のアプリのためのTCPおよびUDP |
Viaのようなヘッダーを追加できるか | はい | いいえ |
| curlで | プロキシにスキームがない場合のデフォルトタイプ | socks5://またはsocks5h://プロキシURLで設定 |
キャッシング
一部のHTTPプロキシは、ネットワークを離れるトラフィックを減らすために応答を保存します。MDNはこれをプロキシキャッシュと呼び、共有キャッシュの一種です。サイトは、共有キャッシュが個別の応答を保存しないようにCache-Control: privateでマークします。HTTPS応答は通常、トンネル内でプロキシを通過するため、多くの場合、プロキシはそれらをキャッシュできません。
ウェブスクレイピングに対する意味
- HTTPはしばしばデフォルト: curlは、スキームなしで与えられたプロキシを
proxy.example.com:8080としてHTTPプロキシと見なします。プロキシ設定を参照して、クライアントがこれを保存する場所を確認してください。 - ヘッダーがプロキシを明らかにする可能性がある: プロキシは
Viaヘッダーを追加する場合があり、一部は元のクライアントIPを持つX-Forwarded-Forを追加します。アドレスを隠すために依存する前に、プロキシが送信する内容を確認してください。