プロキシ設定は、デバイス、ブラウザ、またはアプリがトラフィックをプロキシサーバー経由で送信するかどうか、またそのプロキシのアドレス、ポート、ログイン詳細など、どのようにアクセスするかを指示する構成オプションです。これらがないと、トラフィックは直接ウェブサイトに送信されます。
プロキシ設定に含まれるもの
- アドレスとポート: プロキシのIPアドレスまたはホスト名とそのポート番号。
- プロトコル: たとえば、macOSにはウェブ(HTTP)プロキシ、セキュアウェブ(HTTPS)プロキシ、およびSOCKSプロキシのための別々のエントリがあります。
- ログイン詳細: プロキシが要求する場合のユーザー名とパスワード。詳細はプロキシ認証を参照してください。
- バイパスリスト: プロキシをスキップすべきホストとドメイン。Windowsには、ローカル(イントラネット)アドレスのためにプロキシをスキップするオプションもあります。
- 自動設定: アドレスを入力する代わりに、デバイスはネットワークのプロキシ設定を自動的に検出するか、PACファイルとも呼ばれるセットアップスクリプトを読み込むことができます。WPADは、自動発見のために設計されたプロトコルです。
プロキシ設定が構成される場所
- オペレーティングシステム: WindowsとmacOSは、多くのアプリが従うシステム全体の設定を保存します。Windowsでは、VPN接続には別に設定するプロキシ設定があります。
- ブラウザ: Chromiumベースのブラウザは、
--proxy-serverコマンドラインフラグで上書きできるシステムネットワーク設定を使用します。Firefoxはシステム設定または独自の設定を使用できます:プロキシなし、自動検出、手動設定、またはPACファイルのURL。 - コマンドラインツール: curlは環境変数を読み取ります。
http_proxyは小文字のみで機能し、HTTPS_PROXY、ALL_PROXY(すべてのプロトコル)、およびNO_PROXY(スキップするホスト)は大文字でも使用できます。 - コード: スクレイパーやその他のスクリプトは、コード内でプロキシを設定することができます。
プロキシが機能しないときに確認すべき設定
- アプリが読み取る設定: 環境変数を読み取るコマンドラインツールはシステム設定を無視し、独自の設定を持つブラウザもそれを無視する可能性があります。
- ローカルアドレス: Microsoftは、組織が別の指示を出さない限り、ローカルアドレスのためにプロキシをスキップするオプションをオンにしておくことを推奨しています。
- SOCKSによるDNS: アプリがプロキシを介さずにホスト名を解決する場合、ルックアップがプロキシをバイパスし、DNSリークを引き起こす可能性があります。Firefoxの設定は、Firefox 128以降、デフォルトでSOCKS5プロキシを介してDNSを送信するようになっています。
ウェブスクレイピングにとっての意味
システム全体の設定は、すべてのアプリを1つのプロキシ経由で送信します。リクエストやセッションごとにプロキシを設定するスクレイパーは、各セッションを異なるアドレス経由で送信することができ、これがIPローテーションの基礎となります。