O cabeçalho Retry-After é um cabeçalho de resposta HTTP que informa ao cliente quanto tempo esperar antes de fazer uma solicitação de acompanhamento. Um servidor pode incluí-lo em uma resposta 429 Too Many Requests, que é o código de status para limitação de taxa. Para um scraper, respeitar esse valor significa pausar pelo tempo que o servidor solicitou, em vez de adivinhar e arriscar mais solicitações bloqueadas.
O cabeçalho é opcional, portanto, uma resposta 429 pode chegar sem ele. O RFC 6585 também não define como um servidor identifica o usuário ou conta as solicitações. Um limite pode estar vinculado a credenciais de login ou a um cookie, não apenas a um endereço IP.
Formatos de Valor Retry-After
- Atraso em segundos: Um número inteiro não negativo, como
Retry-After: 120. - Data HTTP: Uma data após a qual tentar novamente, como
Retry-After: Wed, 21 Oct 2015 07:28:00 GMT. - Onde aparece: Com respostas 429, com 503 Service Unavailable para mostrar quanto tempo a interrupção deve durar e com redirecionamentos como 301 para definir um tempo mínimo de espera.
Outros Cabeçalhos de Limitação de Taxa
- Cabeçalhos de fornecedor: Algumas APIs adicionam seus próprios campos. A API REST do GitHub, por exemplo, envia
x-ratelimit-limit,x-ratelimit-remaining,x-ratelimit-usedex-ratelimit-reset. - Padrão proposto: Um Internet-Draft da IETF define os campos
RateLimiteRateLimit-Policypara que os servidores possam anunciar políticas de cota e cota restante. Ainda é um rascunho, não um RFC publicado. - Lógica de nova tentativa: O GitHub aconselha a esperar o número de segundos em
retry-afterquando presente e aumentar a espera exponencialmente se as solicitações continuarem falhando.
Quem Honra Retry-After
- Suporte varia: O MDN observa que o suporte de clientes e servidores para Retry-After ainda é inconsistente.
- Crawlers de busca: Alguns crawlers, como o Googlebot, o respeitam. O Google diz que um site pode enviar Retry-After com uma resposta 503 ou 429 para informar ao seu crawler quando tentar novamente.
- Mantenha curto: O Google aconselha contra servir 500, 503 ou 429 para desacelerar a indexação por mais de 1-2 dias. Se o Googlebot ver esses códigos na mesma URL por vários dias, pode remover essa URL de seu índice.