同時接続、一般的にはスレッドと呼ばれるものは、プロキシを介して同時に開くことができるリクエストの数です。50の制限は、最大50のリクエストが並行して実行できることを意味します。1つのリクエストが完了すると、別のリクエストが開始できます。より多くの同時接続は、大きなジョブをより早く完了させることができますが、すべてのオープン接続はプロキシとターゲットサーバーのリソースも使用します。

429 Too Many Requests ステータスは、指定された時間内にリクエストを送りすぎたことを意味します。

スレッド、接続、およびリクエスト

  • スレッド: 自分のプログラム内の作業単位。シンプルなスクレイパーでは、各スレッドが1つのリクエストを送信し、その応答を待ちます。
  • HTTP/1.x: 1つの接続は、リクエストを主に1つずつ処理します。そのため、HTTP/1.0およびHTTP/1.1クライアントは、同時リクエストを行うために複数の接続を開きます。
  • HTTP/2: 多くのリクエスト(ストリームと呼ばれる)は、単一の接続上でインターリーブすることができます。サーバーは、SETTINGS_MAX_CONCURRENT_STREAMSで制限を設定します。
  • 重要性: スレッド数、オープン接続、およびフライト中のリクエストは常に同じ数ではないため、制限がどれに関連しているかを確認してください。

安全な同時接続レベルの選択

  • 慎重に: HTTP/1.1仕様(RFC 9112)では、クライアントは特定のサーバーに対して同時にオープンできる接続の数を制限すべきであると述べています。固定の最大値は設定されていません。
  • 理由: 各接続はサーバーのリソースを消費し、多くの並行接続は、接続数が少ない場合に回避できる混雑を引き起こす可能性があります。
  • Retry-Afterを尊重: 429 Too Many Requests 応答には、再試行する前にどれくらい待つべきかを示す Retry-After ヘッダーが含まれている場合があります。

関連用語