データセンタープロキシは、インターネットサービスプロバイダー(ISP)ではなく、クラウドホスティングプロバイダーまたはデータセンターが所有するIPアドレスを提供するプロキシサーバーです。ホスティングプロバイダーは、公開識別可能なASNsの既知のアドレス範囲からIPを割り当てるため、ウェブサイトはこれらのIPをホスティングトラフィックとして認識できます。

データセンタープロキシの仕組み

  1. クライアントがプロキシに接続します。 ブラウザ、スクリプト、またはツールをプロキシのアドレスとポートに向けます。通常はHTTPまたはSOCKS5を介して接続します。
  2. サーバーがリクエストを転送します。 プロキシはデータセンター内のサーバー上で動作し、あなたの代理でウェブサイトへの接続を開きます。
  3. サイトはプロキシのIPを認識します。 ウェブサイトはホスティングプロバイダーに登録されたアドレスに応答し、その応答はプロキシを通じてあなたに戻ります。

データセンター、住宅、モバイルプロキシの比較

データセンタープロキシ住宅プロキシモバイルプロキシ
登録されたIPホスティングまたはクラウドプロバイダー消費者ISPモバイルキャリア
トラフィックの出口データセンター内のサーバー自宅の接続セルラーネットワーク上のデバイス
MaxMindデータ内のユーザータイプホスティング住宅セルラー

ウェブサイトがデータセンターIPを識別する方法

  • レジストリデータ: ARINなどの地域インターネットレジストリでのRDAPルックアップは、IPブロックを保持する組織とその起源ASNを返します。
  • 公開されたクラウド範囲: AWSは、他の人がAWSからのトラフィックを識別し、許可または拒否できるように、IP範囲をJSONファイルで公開しています。
  • IPインテリジェンスデータベース: MaxMindの匿名IPデータベースには、IPがホスティングプロバイダーに属する場合に真となるis_hosting_providerフラグがあります。
  • ファイアウォールルール: Cloudflareのカスタムルールは、クライアントIPのAS番号によってリクエストを一致させることができます。ip.src.asnumフィールドを通じて。

ASNの所有権だけでは、リクエストがプロキシから来ていることを証明することはできません。MaxMindは、エンドユーザーのトラフィックを送信するホスティングIPがVPNである可能性があることに注意しています。

共有データセンタープロキシと専用データセンタープロキシ

  • 共有: 複数のユーザーが同時に同じIPを使用し、価格を抑えます。詳細は共有プロキシを参照してください。
  • 専用(プライベート): IPはあなた専用です。通常、より高い速度と安定性を提供しますが、コストは高くなります。

データセンターIPは、静的で一つのアドレスを保持することも、回転してプールからアドレスを変更することもできます。

ウェブスクレイピングにとっての意味

  • ローテーションはネットワークを変更しない: ASNルールはそのネットワーク内のすべてのIPに適合します。同じホスティングプロバイダーからのIP間でローテーションしても、それはトリガーされます。
  • サイトが何を見るかを確認する: プロキシIPでRDAPルックアップを実行して、ウェブサイトが見ることができる組織とASNを確認します。

関連用語