동시 연결, 종종 스레드라고 불리는, 프록시를 통해 동시에 열 수 있는 요청의 수입니다. 50의 제한은 최대 50개의 요청이 병렬로 실행될 수 있음을 의미합니다. 하나의 요청이 완료되면 다른 요청이 시작될 수 있습니다. 더 많은 동시성은 대규모 작업을 더 빠르게 완료합니다, 그러나 열린 연결은 프록시와 대상 서버의 리소스를 사용합니다.
429 Too Many Requests 상태는 주어진 시간 내에 너무 많은 요청을 보냈음을 의미합니다.
스레드, 연결 및 요청
- 스레드: 자신의 프로그램에서 작업의 단위입니다. 간단한 스크래퍼에서 각 스레드는 하나의 요청을 보내고 응답을 기다립니다.
- HTTP/1.x: 하나의 연결이 요청을 주로 한 번에 처리하므로 HTTP/1.0 및 HTTP/1.1 클라이언트는 동시 요청을 하기 위해 여러 연결을 엽니다.
- HTTP/2: 여러 요청, 즉 스트림이 단일 연결에서 교차하여 처리될 수 있습니다. 서버는
SETTINGS_MAX_CONCURRENT_STREAMS로 제한을 설정합니다. - 중요성: 스레드 수, 열린 연결 및 진행 중인 요청의 수는 항상 동일하지 않으므로 제한이 어떤 것을 참조하는지 확인하십시오.
안전한 동시성 수준 선택하기
- 보수적이어야 합니다: HTTP/1.1 사양(RFC 9112)은 클라이언트가 특정 서버에 대해 동시에 열린 연결의 수를 제한해야 한다고 말합니다. 고정된 최대값은 설정되어 있지 않습니다.
- 이유: 각 연결은 서버 리소스를 소비하며, 많은 병렬 연결은 적은 연결로 피할 수 있는 혼잡을 초래할 수 있습니다.
- Retry-After 존중하기:
429 Too Many Requests응답에는 다시 시도하기 전에 얼마나 기다려야 하는지를 나타내는Retry-After헤더가 포함될 수 있습니다.