Retry-After 헤더는 클라이언트에게 후속 요청을 하기 전에 얼마나 기다려야 하는지를 알려주는 HTTP 응답 헤더입니다. 서버는 이를 429 Too Many Requests 응답에 포함할 수 있으며, 이는 속도 제한을 위한 상태 코드입니다. 스크래퍼의 경우, 이 값을 준수하는 것은 서버가 요청한 만큼 대기하는 것을 의미하며, 추측하여 더 많은 차단 요청을 받을 위험을 피할 수 있습니다.
헤더는 선택 사항이므로 429 응답이 이를 포함하지 않을 수 있습니다. RFC 6585는 또한 서버가 사용자를 식별하거나 요청을 계산하는 방법을 정의하지 않습니다. 제한은 IP 주소뿐만 아니라 로그인 자격 증명이나 쿠키에 연결될 수 있습니다.
Retry-After 값 형식
- 초 단위 지연:
Retry-After: 120과 같은 음이 아닌 정수. - HTTP 날짜: 재시도할 날짜, 예를 들어
Retry-After: Wed, 21 Oct 2015 07:28:00 GMT. - 어디에 나타나는가: 429 응답과 함께, 서비스가 사용 불가능한 503 응답에서 중단 기간을 나타내기 위해, 그리고 최소 대기 시간을 설정하기 위해 301과 같은 리디렉션과 함께.
기타 속도 제한 헤더
- 벤더 헤더: 일부 API는 자체 필드를 추가합니다. 예를 들어, GitHub의 REST API는
x-ratelimit-limit,x-ratelimit-remaining,x-ratelimit-used및x-ratelimit-reset을 보냅니다. - 제안된 표준: IETF 인터넷 초안은 서버가 쿼터 정책과 남은 쿼터를 광고할 수 있도록
RateLimit및RateLimit-Policy필드를 정의합니다. 이는 아직 초안이며, 발표된 RFC는 아닙니다. - 재시도 논리: GitHub는
retry-after에 있는 초 단위로 대기할 것을 권장하며, 요청이 계속 실패할 경우 대기 시간을 기하급수적으로 늘릴 것을 권장합니다.
Retry-After를 준수하는 사람들
- 지원은 다양함: MDN은 Retry-After에 대한 클라이언트 및 서버 지원이 여전히 일관되지 않다고 언급합니다.
- 검색 크롤러: Googlebot과 같은 일부 크롤러는 이를 준수합니다. Google은 사이트가 503 또는 429 응답과 함께 Retry-After를 보내 크롤러에게 재시도 시점을 알릴 수 있다고 말합니다.
- 짧게 유지: Google은 500, 503 또는 429를 제공하여 크롤링 속도를 1-2일 이상 늦추는 것을 권장하지 않습니다. Googlebot이 여러 날 동안 동일한 URL에서 이러한 코드를 보면 해당 URL을 인덱스에서 삭제할 수 있습니다.