요청 제한은 스크래퍼가 요청을 보내는 속도를 의도적으로 늦추고, 요청 간에 지연을 추가하여 목표 사이트의 서버에 과도한 부하를 주지 않도록 하는 관행입니다.

이 용어는 서버 측에서도 사용됩니다. Microsoft는 제한을 클라우드 API가 일정 기간 동안 얼마나 많은 요청을 할 수 있는지를 제한하여 모든 사용자가 API를 사용할 수 있도록 하는 기술로 설명합니다. 어쨌든 목표는 동일합니다: 서버가 처리할 수 있는 속도로 트래픽을 유지하는 것입니다.

제한 vs. 속도 제한

제한속도 제한
주요 아이디어요청의 속도 조절시간 창 내에서 요청 수 제한
초과 요청일반적으로 지연되거나 분산됨일반적으로 거부됨
적용 주체클라이언트, 서버 또는 둘 다일반적으로 서버
일반적인 신호느린 응답 또는 429과 Retry-After429 Too Many Requests

두 용어는 실제로 겹칩니다. 예를 들어, AWS는 한도를 초과한 요청을 429 Too Many Requests 오류로 거부된 것으로 설명합니다. 서버가 요청을 계산하는 방법에 대한 속도 제한을 참조하세요.

서버가 제한하는 방법

  • 토큰 버킷: AWS는 각 요청이 토큰을 사용하고 토큰이 초당 설정된 비율로 보충되는 이 알고리즘을 권장합니다.
  • 상태 코드: 가장 일반적인 신호는 429 Too Many Requests입니다. Microsoft는 모든 API가 이를 사용하지는 않는다고 언급합니다: GitHub는 403으로 응답할 수 있습니다.
  • 대기 시간: 일부 API는 다음 요청 전에 얼마나 기다려야 하는지를 나타내는 Retry-After 헤더를 추가합니다.

스크래퍼가 스스로 제한하는 방법

  • 고정 지연: 동일한 사이트에 대한 요청 간의 설정된 일시 정지.
  • 무작위 지연: Scrapy의 DOWNLOAD_DELAY_JITTER 설정은 각 지연에 무작위 변화를 추가하여 요청이 정확한 비트에 도착하지 않도록 합니다.
  • 적응형 지연: Scrapy의 AutoThrottle 확장 사이트의 응답에 적응합니다. 서버의 대기 시간을 목표 동시성으로 나눈 값으로 목표 지연을 설정하며, 오류 응답 시 속도를 높이지 않습니다.
  • 동시성 제한: 하나의 사이트에 대한 동시 연결 수를 줄이면 요청 속도가 낮아집니다.

재시도가 제한을 무효화할 수 있음

스크래퍼는 첫 요청의 속도를 잘 조절할 수 있지만 여전히 재시도로 사이트에 과부하를 줄 수 있습니다. Amazon Builders' Library의 한 기사는 시스템이 과부하 상태일 경우 재시도가 상황을 더 악화시킬 수 있다고 경고합니다. 각 레이어가 독립적으로 재시도하는 경우 데이터베이스에 가해지는 부하가 243배 증가하는 예를 제공합니다.

같은 기사는 수정 사항을 나열합니다:

  1. 지수적으로 백오프: 실패한 시도 후 대기 시간을 증가시킵니다.
  2. 지터 추가: 각 대기 시간에 무작위성을 추가하여 재시도가 함께 도착하는 대신 시간적으로 분산되도록 합니다.
  3. 한도 설정: 최대 대기 시간과 최대 재시도 수를 설정합니다.

웹 스크래핑에 대한 의미

  • 작업이 아닌 사이트별로 제한: 각 대상에 제한이 적용되므로 각 도메인에 대한 요청 속도를 별도로 조절합니다.
  • 429를 일시 정지로 처리: Retry-After 시간 동안 기다리거나, 그런 시간이 없을 경우 지터와 함께 백오프합니다.
  • 새 IP가 속도 조절을 대체하지 않음: 429 후에 IP를 전환하는 것은 사이트가 쿠키, 계정 또는 지문으로도 계산하는 경우 도움이 되지 않습니다.

관련 용어