Conexões simultâneas, frequentemente chamadas de threads, são o número de solicitações que você pode ter abertas através de um proxy ao mesmo tempo. Um limite de 50 significa que até 50 solicitações podem ser executadas em paralelo. Quando uma termina, outra pode começar. Mais concorrência finaliza grandes trabalhos mais rápido, mas cada conexão aberta também utiliza recursos no proxy e no servidor de destino.
Um 429 Too Many Requests status significa que você enviou muitas solicitações em um determinado período de tempo.
Threads, Conexões e Solicitações
- Thread: Uma unidade de trabalho em seu próprio programa. Em um scraper simples, cada thread envia uma solicitação e aguarda sua resposta.
- HTTP/1.x: Uma conexão lida com solicitações em grande parte uma de cada vez, então clientes HTTP/1.0 e HTTP/1.1 abrem várias conexões para fazer solicitações simultâneas.
- HTTP/2: Muitas solicitações, chamadas de streams, podem ser intercaladas em uma única conexão. Um servidor define seu limite com
SETTINGS_MAX_CONCURRENT_STREAMS. - Por que isso importa: Sua contagem de threads, conexões abertas e solicitações em andamento nem sempre são o mesmo número, então verifique a que limite se refere.
Escolhendo um Nível de Concorrência Seguro
- Seja conservador: A especificação HTTP/1.1 (RFC 9112) diz que um cliente deve limitar o número de conexões abertas simultaneamente a um determinado servidor. Não estabelece um máximo fixo.
- Por que: Cada conexão consome recursos do servidor, e muitas conexões paralelas podem causar congestionamento que menos conexões evitariam.
- Respeite Retry-After: Uma resposta
429 Too Many Requestspode incluir um cabeçalhoRetry-Afterque diz quanto tempo esperar antes de tentar novamente.