レート制限は、IPアドレスまたはユーザーアカウントで識別されるクライアントが、設定された時間ウィンドウ内で行えるリクエストの数を制限し、その制限を超えたリクエストをブロックまたは遅延させる制御です。サーバーは、HTTP 429「リクエストが多すぎます」としてこれを通知し、再試行までの待機時間を示すRetry-After headerを含む場合があります。
レート制限が適用されるレベル
- IPごと
- サブネットごと
- APIキーごと
- アカウントごと
クライアントがこれらの制限を超えると、サーバーは一時的にリクエストの処理を停止し、HTTP 429「リクエストが多すぎます」と応答することがあります。大規模で回転するプロキシプールにリクエストを分散させることで、多くのIPカウンターにリクエストを分散させ、各IPがスケールでのIPごとのレート制限を下回るのを助けます。
一般的なレート制限アルゴリズム
- 固定ウィンドウ: リクエストをカウントし、各期間の開始時にカウンターをリセットするため、トラフィックスパイクが各リセットの周りで滑り込む可能性があります。
- スライディングウィンドウ: 前の期間のカウントを、現在のウィンドウとどれだけ重なっているかで重み付けし、スパイクを平滑化します。
- トークンバケット: トークンは最大まで固定の速度で補充されます。各リクエストは1つのトークンを消費するため、バーストはバケットのサイズまで許可されます。
- リーキーバケット: リクエストは一定の速度で排出されます。バケットが満杯になると、新しいリクエストは拒否されます。
サイトがレート制限を使用する理由
スクレイピングは一つのターゲットに過ぎません。レート制限は以下のことにも役立ちます:
- クラウドフレアがIPアドレスとユーザー名の両方で追跡することを推奨する、ブルートフォースログイン試行を遅くする。
- ブラントDoSおよびDDoSトラフィックの洪水を防ぐ。
- 悪意のない過剰使用があっても、ユーザーごとのクォータ内でAPIの使用を維持する(例えば、時間または日ごとの設定された呼び出し数など)。