Um proxy rotativo é um serviço de proxy que automaticamente muda o endereço IP de saída, retirando um novo de um pool para cada solicitação, cada nova conexão ou cada janela de tempo.
Você se conecta a um endereço de gateway, e o provedor escolhe o IP de saída que os sites-alvo veem. "Rotativo" descreve como o IP muda, não de onde ele vem: o pool pode conter endereços residenciais, de datacenter, móveis ou de ISP.
Como Funciona um Proxy Rotativo
- Seu cliente envia tráfego para um host de gateway e porta de proxy, geralmente com um nome de usuário e senha.
- O gateway escolhe um IP de saída de seu pool de proxy e se conecta ao site-alvo a partir desse endereço.
- O alvo vê apenas o IP de saída. Na próxima solicitação, conexão ou janela de tempo, o gateway pode escolher um diferente.
Métodos de Rotação
- Por solicitação ou por conexão: cada nova solicitação ou conexão recebe um novo IP de saída. Isso é adequado para buscas de página sem estado.
- Rotação temporizada: um IP é mantido por um período definido, como vários minutos, e depois substituído.
- Sessões fixas: uma sessão fixa mantém um IP por toda a sessão, então logins, carrinhos e formulários de múltiplas etapas continuam funcionando.
Por Solicitação Muitas Vezes Significa Por Conexão
O tráfego HTTPS através de um proxy é executado dentro de um túnel aberto com o método HTTP CONNECT. Segundo MDN, o proxy então encaminha dados cegamente em ambas as direções até que o túnel feche. Cada solicitação enviada através de um túnel aberto chega ao site pela mesma conexão, então mostra o mesmo IP de saída.
A maioria dos clientes HTTP também mantém conexões abertas e as reutiliza para solicitações posteriores, o que MDN chama de conexões persistentes ou keep-alive. Se seu scraper reutiliza conexões, várias solicitações podem compartilhar um IP mesmo em um plano por solicitação. Para obter um IP novo a cada vez, feche a conexão após cada solicitação ou desative a reutilização de conexão em seu cliente HTTP.
Proxy Rotativo vs. Proxy Estático
| Proxy Rotativo | Proxy Estático | |
|---|---|---|
| IP de Saída | Muda por solicitação, conexão ou janela de tempo | Permanece o mesmo |
| Continuidade da Sessão | Necessita de sessões fixas | Integrado |
| Carga de Solicitação por IP | Distribuída pelo pool | Toda em um IP |
| Adequação Típica | Grandes rastreamentos, monitoramento de classificação, verificações de preços em muitas páginas | Logins, trabalho de conta, listas de permissão de IP |
Veja proxy estático para quando um IP fixo é a melhor escolha.
Tipos de Proxies Rotativos
A rotação pode ocorrer em qualquer tipo de IP:
- Residencial: IPs domésticos atribuídos por ISPs de consumidores. Veja proxy residencial.
- Datacenter: IPs de provedores de hospedagem, agrupados sob ASNs de hospedagem. Veja proxy de datacenter.
- Móvel: IPs de operadoras que muitos usuários de telefone costumam compartilhar. Veja proxy móvel.
- ISP: IPs registrados para ISPs de consumidores, mas hospedados em datacenters. Veja proxy de ISP.
O Que Isso Significa para Web Scraping
- A rotação distribui as contagens por IP. Nos planos Free e Pro do Cloudflare, regras de limitação de taxa contam solicitações por IP apenas. Distribuir solicitações por um pool mantém a contagem de cada IP mais baixa. Veja limitação de taxa.
- Combine o método com o trabalho. Use rotação por solicitação para páginas independentes, como resultados de pesquisa para monitoramento de classificação. Use uma sessão fixa para qualquer coisa que dependa de um login ou cookie de sessão.
Limitações dos Proxies Rotativos
A rotação apenas muda seu IP. Cookies, logins de conta e impressão digital do navegador ainda podem identificá-lo.
A orientação sobre impressão digital do W3C observa que pessoas que mudam sua rota de rede, como usuários do Tor, ainda podem ser vinculadas através da impressão digital do navegador.
- Limites de taxa nem sempre são por IP: As regras de limitação de taxa do Cloudflare podem contar solicitações por IP, mas também por valores de cabeçalho, cookie ou parâmetro de consulta, ASN, país, impressão digital TLS JA3/JA4 ou reivindicações JWT. Um novo IP não redefine um limite baseado nesses critérios.
- Mudanças de IP durante a sessão podem encerrar a sessão: A OWASP recomenda vincular uma sessão a propriedades do cliente, como o endereço IP, e tratar uma mudança durante uma sessão estabelecida como um possível sinal de sequestro que pode ser alertado ou encerrado. Uma sessão fixa mantém um IP por um período definido, o que evita isso.
- Sem criptografia adicional: a rotação não criptografa o tráfego por si só. Sites HTTPS permanecem criptografados de ponta a ponta porque o proxy apenas retransmite os bytes do túnel.