처리량은 연결을 통해 실제로 전달되는 데이터의 속도로, 시간에 따라 측정되며 일반적으로 초당 비트로 표시됩니다. 예를 들어 Mbps와 같은 단위로 표현됩니다. 대역폭과 달리, 대역폭은 링크의 용량을 의미하며, 처리량은 지연, 패킷 손실 및 프로토콜 오버헤드가 차지한 후에 실제로 전달되는 데이터입니다.
IETF의 TCP 처리량 테스트 표준인 RFC 6349는 TCP/IP 헤더 위에 실려 있는 데이터의 속도를 "유효 처리량(goodput)"이라고 부르며, 이는 전송선의 원시 속도보다 낮습니다.
처리량 vs. 대역폭 vs. 지연
| 처리량 | 대역폭 | 지연 | |
|---|---|---|---|
| 답변하는 질문 | 데이터가 얼마나 빠르게 도착하는가? | 링크가 얼마나 많은 데이터를 전송할 수 있는가? | 각 교환에 걸리는 시간은 얼마인가? |
| 측정하는 것 | 초당 실제로 전달된 데이터 | 링크가 초당 전송할 수 있는 최대 데이터 | 데이터가 왕복하는 데 걸리는 시간 |
| 일반적인 단위 | Mbps | Mbps 또는 Gbps | 밀리초 |
프록시 가격 책정에서 "대역폭"은 일반적으로 속도가 아닌 GB로 전송된 총 데이터를 의미합니다. 차이점에 대한 자세한 내용은 대역폭을 참조하십시오.
처리량이 대역폭보다 낮아지는 이유
- 프로토콜 오버헤드: 20바이트 IP 및 20바이트 TCP 헤더와 이더넷 프레이밍 이후, 100 Mbps 이더넷 링크는 최대 94.9 Mbps의 TCP 유효 처리량을 전달합니다.
- 수신 창 및 왕복 시간: 하나의 연결의 처리량은 수신 창(비트 단위)을 왕복 시간으로 나눈 값으로 제한됩니다. 100 Mbps 경로에서 5ms 왕복 시간과 16KB 창은 최대 25.6 Mbps에 도달합니다.
- 대역폭-지연 곱: 링크를 채우기 위해서는 수신 창이 링크의 용량과 왕복 지연의 곱 이상이어야 합니다.
- 패킷 손실: TCP의 혼잡 창은 경로의 손실률에 따라 계산되며, 손실된 패킷은 재전송해야 합니다.
처리량 측정 방법
TCP 처리량 테스트는 실제 데이터를 이동시키고 시간을 측정합니다:
- 데이터 블록 전송: 실제 TCP 전송 시간은 해당 블록을 연결을 통해 전송하는 데 걸리는 시간입니다.
- 이상적인 값과 비교: 전송 시간 비율은 실제 전송 시간을 해당 경로의 이상적인 전송 시간으로 나눕니다.
- 재전송 수 계산: TCP 효율성은 재전송되지 않은 바이트의 비율입니다.
결과를 비교할 때 단위를 확인하십시오. 네트워크 속도는 초당 비트로 제공되며, 일부 도구는 초당 바이트로 보고합니다. 1바이트는 8비트이므로 초당 12.5MB는 100Mbps에 해당합니다. 예를 들어, curl은 speed_download 값을 초당 바이트로 전체 다운로드의 평균 속도로 보고합니다.
프록시 홉이 연결당 처리량을 낮추는 이유
단일 TCP 연결은 왕복당 최대 하나의 수신 창 데이터만 이동할 수 있습니다. 프록시는 경로에 또 다른 단계를 추가하므로 왕복 시간이 늘어나고 동일한 창이 초당 더 적은 양을 전달합니다.
- 작동 예: 16KB 창을 가진 5ms 왕복 시간은 하나의 연결을 25.6Mbps로 제한합니다. 50ms에서는 동일한 창이 2.56Mbps를 제공합니다.
- 더 많은 연결이 파이프를 채운다: 더 작은 창은 링크를 채우기 위해 더 많은 병렬 연결이 필요합니다. 500Mbps 경로에서 5ms 왕복 시간은 16KB 창을 가진 20개의 연결이 필요하거나 64KB 창을 가진 5개의 연결이 필요합니다.
따라서 먼 프록시를 통한 느린 단일 다운로드가 프록시의 링크가 느리다는 것을 의미하지는 않습니다. 왕복 시간이 한계일 수 있습니다.
웹 스크래핑에 대한 의미
- 동일한 테스트에서 프록시 비교: 각 프록시를 통해 동일한 대상에 대한 고정 다운로드 시간을 측정합니다. 처리량은 거리와 경로에 따라 달라지기 때문입니다. curl에서
time_connect은 프록시와의 TCP 연결이 완료된 시간을 보여주며,time_total와는 별개입니다. - 한계 내에서 병렬 연결로 확장: 동시 연결은 총 처리량을 증가시키지만, HTTP/1.1에서는 클라이언트가 하나의 서버에 대한 동시 연결을 제한해야 한다고 명시하고 있습니다. Scrapy의 AutoThrottle은 비행 중인 요청의 목표 수를 유지하는 것을 목표로 하며, 문서에서는 이 목표를 높이면 처리량과 서버의 부하가 증가한다고 설명합니다.
- 작은 페이지에 대해 연결 재사용: 각 새로운 연결은 데이터가 흐르기 전에 DNS, TCP 및 TLS 설정에 대한 왕복 시간을 소모하므로, 하나의 연결을 재사용하면 전송에 더 많은 시간을 확보할 수 있습니다.