并发连接,通常称为线程,是您可以通过代理同时打开的请求数量。限制为 50 意味着最多可以并行运行 50 个请求。当一个请求完成时,另一个请求可以开始。更多的并发 可以更快地完成大型任务,但每个打开的连接也会占用代理和目标服务器的资源。

一个 429 Too Many Requests 状态意味着您在给定的时间内发送了太多请求。

线程、连接和请求

  • 线程: 您自己程序中的一个工作单元。在一个简单的抓取器中,每个线程发送一个请求并等待其响应。
  • HTTP/1.x: 一个连接主要一次处理一个请求,因此 HTTP/1.0 和 HTTP/1.1 客户端打开多个连接以进行并发请求。
  • HTTP/2: 多个请求,称为流,可以在单个连接上交错。服务器通过 SETTINGS_MAX_CONCURRENT_STREAMS 设置其限制。
  • 为什么重要: 您的线程数、打开的连接和正在进行的请求并不总是相同的数字,因此请检查限制指的是哪一个。

选择安全的并发级别

  • 保持保守: HTTP/1.1 规范 (RFC 9112) 表示客户端应限制与给定服务器的同时打开连接数。它没有设定固定的最大值。
  • 为什么: 每个连接消耗服务器资源,许多并行连接可能会导致拥堵,而较少的连接可以避免这种情况。
  • 尊重 Retry-After: 429 Too Many Requests 响应可能包含一个 Retry-After 头,说明在再次尝试之前需要等待多长时间。

相关术语