A rotação de User-Agent é a prática de alternar entre uma variedade de strings de User-Agent realistas em solicitações, em vez de enviar a mesma repetidamente, para fazer com que o tráfego automatizado pareça mais com uma população diversificada de visitantes reais.
Sistemas anti-bot ainda podem usar sinais de que uma string de User-Agent não muda, como a impressão digital TLS (JA3 ou JA4), que identifica um cliente pela forma como inicia uma conexão TLS.
Por que os User-Agents Padrão se Destacam
Ferramentas HTTP comuns se anunciam, a menos que você mude o cabeçalho. curl envia curl/ mais sua versão, como curl/7.54.1, e o padrão do Scrapy é Scrapy/VERSION (+https://scrapy.org). Os servidores às vezes decidem como responder com base nesse cabeçalho.
Mantendo Outros Sinais Consistentes
A OWASP lista os cabeçalhos Client Hints (Sec-CH-UA-*) como um sinal declarado que pode ser verificado contra a impressão digital TLS. Um User-Agent rotacionado é apenas um dos vários sinais de identidade que um site pode comparar.