IPローテーションは、IPアドレスのプールを介して送信されるアウトゴーイングリクエストの実践であり、ソースIPを切り替えるという設定ルールに従って、各リクエスト、各セッション、または設定された間隔で切り替えます。このようにトラフィックを分散させることで、各IPのリクエスト量が低く保たれ、IPごとのレート制限や禁止が作業に与える影響を軽減します。
IPローテーションはその技術です。ローテーティングプロキシは、1つのゲートウェイアドレスの背後でそれを行うサービスですが、自分のコードでIPをローテーションすることもできます。動的IPを持つ家庭の接続もアドレスを変更できますが、それはネットワークのスケジュールに従い、あなたのスケジュールではありません。
IPローテーションの仕組み
- プールを取得する: プロキシIPのリスト、またはプロバイダーのプロキシプールの前にあるゲートウェイ。
- ルールに従ってIPを選択する: 次のリクエストまたはセッションのためにアドレスを選択します。
- それを介してリクエストを送信する: ターゲットサイトは選択されたIPのみを確認します。
- 失敗したIPを休ませるか削除する: 403や429などのブロックレスポンスが返され始めたら、IPを使用から外します。
ローテーションルール
- リクエストごと: 各リクエストに新しいIP。再利用された接続は、ローテーティングプロキシの下で同じIPを保持できます。
- 時間指定: IPは固定の間隔で変更されます。たとえば、数分ごとです。
- セッションごと(スティッキー): セッションのために1つのIPが保持され、その後置き換えられます。スティッキーセッションを参照してください。
- 失敗時: ブロックまたはレート制限のレスポンスの後にのみIPが変更されます。
- 順序: ラウンドロビンは各IPを順番に使用し、ランダム選択は利用可能なIPを選びます。
IPをローテーションする方法
| ローテーティングプロキシゲートウェイ | 自分のコードでのローテーション | VPNサーバーの切り替え | |
|---|---|---|---|
| IPを選ぶのは | プロバイダーのゲートウェイ | プロキシのリストからあなたのスクリプト | あなたまたはVPNアプリ |
| 接続方法 | 1つのホストとポート | リクエストまたはセッションごとに異なるプロキシ | デバイス全体に1つのトンネル |
| 同時に異なるIP | はい、接続またはセッションごとに | はい、リクエストごとに | いいえ、接続ごとに1つのサーバー |
コード内でのローテーションは、各リクエストでプロキシを設定することを意味します。たとえば、Scrapyはrequest.meta['proxy']からそれを読み取ります。VPNとプロキシの違いについては、VPNとプロキシを参照してください。
1つのサブネット内でのローテーションは本当のローテーションではない
サイトは単一のアドレスだけをカウントするわけではないため、隣接するIPのプールは1つのIPのように機能します:
- 範囲: nginxの
denyディレクティブはCIDR範囲を受け入れるため、1つのルールで全体のサブネットをブロックできます。たとえば、/24の256アドレスなどです。 - ネットワーク: Cloudflareのレート制限ルールは、AS番号でリクエストをカウントできるため、同じネットワークからのすべてのIPが1つのカウンターに加算されます。ASNを参照してください。
- IPv6プレフィックス: RFC 6177は、エンドサイトが少なくとも1つの/64を取得すべきであり、ほとんどの場合はそれ以上であるべきだと述べています。サイトは全体のプレフィックスを1人のユーザーとして扱うことができるため、その内部でアドレスをローテーションしてもあまり変わりません。
重要なのは、プールがどれだけ多くの異なる範囲とネットワークを跨いでいるかであり、単に保持しているIPの数ではありません。
ウェブスクレイピングにとっての意味
- ローテーションはペーシングの代わりにはならない: サイトが429で応答した場合、新しいIPからすぐに再試行するのではなく、そのRetry-Afterヘッダーの時間を待ってください。
- クッキーはIPを超えて持続する可能性がある: Cloudflareの「NATサポート付きIP」オプションは、セッションクッキー(
_cfuvid)によって訪問者を識別できるため、同じクッキージャーを持つ新しいIPは、依然として同じ訪問者としてカウントされる可能性があります。 - タスクにルールを合わせる: 独立したページのためにリクエストごとにローテーションし、ログインやチェックアウトのために1つのIPを保持します。
なぜローテーションだけでは不十分なのか
新しいIPは、サイトが見ることができる他のすべてを変えるわけではありません。サイトは、User-Agentヘッダー、ウィンドウサイズ、インストールされたフォント、グラフィックスのレンダリング方法などの信号から構築されたbrowser fingerprintを介してリクエストをリンクできます。フィンガープリントは、IPが隠されている場合やクッキーがブロックされている場合でも、クライアントを特定することができます。