并发连接,通常称为线程,是您可以通过代理同时打开的请求数量。限制为 50 意味着最多可以并行运行 50 个请求。当一个请求完成时,另一个请求可以开始。更多的并发 可以更快地完成大型任务,但每个打开的连接也会占用代理和目标服务器的资源。
一个 429 Too Many Requests 状态意味着您在给定的时间内发送了太多请求。
线程、连接和请求
- 线程: 您自己程序中的一个工作单元。在一个简单的抓取器中,每个线程发送一个请求并等待其响应。
- HTTP/1.x: 一个连接主要一次处理一个请求,因此 HTTP/1.0 和 HTTP/1.1 客户端打开多个连接以进行并发请求。
- HTTP/2: 多个请求,称为流,可以在单个连接上交错。服务器通过
SETTINGS_MAX_CONCURRENT_STREAMS设置其限制。 - 为什么重要: 您的线程数、打开的连接和正在进行的请求并不总是相同的数字,因此请检查限制指的是哪一个。
选择安全的并发级别
- 保持保守: HTTP/1.1 规范 (RFC 9112) 表示客户端应限制与给定服务器的同时打开连接数。它没有设定固定的最大值。
- 为什么: 每个连接消耗服务器资源,许多并行连接可能会导致拥堵,而较少的连接可以避免这种情况。
- 尊重 Retry-After:
429 Too Many Requests响应可能包含一个Retry-After头,说明在再次尝试之前需要等待多长时间。