요율 제한은 IP 주소나 사용자 계정으로 식별된 클라이언트가 설정된 시간 창 내에서 만들 수 있는 요청 수를 제한하는 제어 장치로, 한도를 초과한 요청은 차단되거나 지연됩니다. 서버는 HTTP 429 너무 많은 요청을 신호로 보내며, 다시 시도하기 전에 기다려야 하는 시간을 알려주는 Retry-After header를 포함할 수 있습니다.
요율 제한이 적용되는 수준
- IP당
- 서브넷당
- API 키당
- 계정당
클라이언트가 이를 초과하면 서버는 요청을 일시적으로 중단하고 HTTP 429 "너무 많은 요청"으로 응답할 수 있습니다. 요청을 대규모 회전 프록시 풀에 분산시키면 많은 IP당 카운터에 걸쳐 요청을 분산시켜 각 IP가 IP당 요율 제한을 유지하는 데 도움이 됩니다.
일반적인 요율 제한 알고리즘
- 고정 창: 요청을 계산하고 각 기간의 시작에서 카운터를 재설정하므로 트래픽 스파이크가 각 재설정 주위에서 통과할 수 있습니다.
- 슬라이딩 창: 이전 기간의 카운트를 현재 창과 얼마나 겹치는지에 따라 가중치를 부여하여 이러한 스파이크를 부드럽게 만듭니다.
- 토큰 버킷: 토큰이 최대치까지 고정 속도로 보충됩니다. 각 요청은 하나의 토큰을 소모하므로 버킷 크기까지의 폭발이 허용됩니다.
- 누수 버킷: 요청이 일정한 속도로 소모됩니다. 버킷이 가득 차면 새로운 요청이 거부됩니다.
사이트가 요율 제한을 사용하는 이유
스크래핑은 단 하나의 목표일 뿐입니다. 요율 제한은 또한 다음을 돕습니다:
- 클라우드플레어가 IP 주소와 사용자 이름 모두로 추적할 것을 권장하는 무차별 대입 로그인 시도를 늦추기 위해.
- 둔화된 DoS 및 DDoS 트래픽 홍수.
- 악의적이지 않은 과도한 사용이 발생하더라도 사용자당 할당량 내에서 API 사용을 유지하기 위해, 예를 들어 시간당 또는 일일 호출 수와 같은 설정된 수.