リクエストスロットリングは、スクレイパーがリクエストを送信する速度を意図的に遅くし、それらの間に遅延を追加することで、ターゲットサイトのサーバーに過度に負荷をかけないようにする手法です。
この用語はサーバー側でも使用されます。Microsoftは、スロットリングをクラウドAPIが一定期間内に行えるリクエストの数を制限するための技術として説明しています。これにより、APIはすべてのユーザーに利用可能な状態を維持します。いずれにせよ、目標は同じです:サーバーが処理できるペースでトラフィックを維持することです。
スロットリングとレート制限の違い
| スロットリング | レート制限 | |
|---|---|---|
| 主なアイデア | リクエストのペースを制御する | 時間枠内のリクエスト数を制限する |
| 超過リクエスト | 通常は遅延または分散される | 通常は拒否される |
| 誰が適用するか | クライアント、サーバー、またはその両方 | 通常はサーバー |
| 一般的なシグナル | 応答が遅い、または 429 と Retry-After | 429 Too Many Requests |
実際には、これらの2つの用語は重なり合います。たとえば、AWSは、制限を超えたスロットリングされたリクエストを 429 Too Many Requests エラーで拒否されると説明しています。サーバーがリクエストをカウントする方法については、レート制限 を参照してください。
サーバーがスロットリングする方法
- トークンバケット: AWSはこのアルゴリズムを推奨しており、各リクエストがトークンを使用し、トークンは毎秒設定された速度で補充されます。
- ステータスコード: 最も一般的なシグナルは
429 Too Many Requestsです。Microsoftは、すべてのAPIがこれを使用するわけではないと指摘しています:GitHubは403で応答することがあります。 - 待機時間: 一部のAPIは、次のリクエストの前にどれくらい待つべきかを示す Retry-Afterヘッダー を追加します。
スクレイパーが自らスロットリングする方法
- 固定遅延: 同じサイトへのリクエスト間に設定されたポーズ。
- ランダム化遅延: Scrapyの
DOWNLOAD_DELAY_JITTER設定は、各遅延にランダムな変動を追加し、リクエストが正確なビートで到着しないようにします。 - 適応遅延: ScrapyのAutoThrottle拡張は、サイトの応答に適応します。サーバーのレイテンシをターゲットの同時実行数で割った値をターゲット遅延として設定し、エラー応答があっても速度を上げません。
- 同時接続制限: 1つのサイトへの同時接続を減らすことで、リクエストレートも低下します。
リトライがスロットリングを解除する可能性
スクレイパーは最初のリクエストを適切にペース配分しても、リトライでサイトを洪水させる可能性があります。Amazon Builders' Libraryの記事は、システムが過負荷の場合、リトライが改善するのではなく、過負荷を悪化させる可能性があると警告しています。各レイヤーが独立してリトライする例を挙げており、データベースへの負荷が243倍になることがあります。
同じ記事では、修正策をリストアップしています:
- 指数的にバックオフ: 失敗した試行ごとに待機時間を増加させます。
- ジッターを追加: 各待機時間にランダム性を追加し、リトライが同時に到着するのではなく、時間的に分散するようにします。
- 制限を設ける: 最大待機時間と最大リトライ数を設定します。
ウェブスクレイピングにおける意味
- ジョブごとではなくサイトごとにスロットリング: 制限は各ターゲットに適用されるため、各ドメインに対してリクエストのペースを別々に設定します。
- 429を一時停止として扱う: Retry-After時間を待つか、そうでない場合はジッターを使ってバックオフします。
- 新しいIPはペースを置き換えない: 429の後にIPを切り替えても、サイトがクッキー、アカウント、またはフィンガープリントでカウントしている場合は役に立ちません。