As configurações de proxy são as opções de configuração que informam a um dispositivo, navegador ou aplicativo se devem enviar seu tráfego através de um servidor proxy e como alcançá-lo, como o endereço do proxy, a porta e os detalhes de login. Sem elas, o tráfego vai diretamente para os sites.

O Que as Configurações de Proxy Incluem

  • Endereço e porta: o endereço IP ou nome do host do proxy e seu número da porta.
  • Protocolo: o macOS, por exemplo, possui entradas separadas para um proxy web (HTTP), um proxy web seguro (HTTPS) e um proxy SOCKS.
  • Detalhes de login: um nome de usuário e senha quando o proxy os requer. Veja autenticação de proxy.
  • Lista de exceções: hosts e domínios que devem ignorar o proxy. O Windows também tem uma opção para ignorar o proxy para endereços locais (intranet).
  • Configuração automática: em vez de digitar um endereço, um dispositivo pode detectar automaticamente as configurações de proxy da rede ou carregar um script de configuração, também chamado de arquivo PAC. WPAD é o protocolo projetado para descoberta automática.

Onde as Configurações de Proxy São Configuradas

  • Sistema operacional: Windows e macOS armazenam configurações globais do sistema que muitos aplicativos seguem. No Windows, uma conexão VPN tem suas próprias configurações de proxy que você define separadamente.
  • Navegadores: navegadores baseados em Chromium usam as configurações de rede do sistema, que a flag de linha de comando --proxy-server pode substituir. O Firefox pode usar as configurações do sistema ou as suas próprias: sem proxy, detecção automática, configuração manual ou uma URL de arquivo PAC.
  • Ferramentas de linha de comando: curl lê variáveis de ambiente. http_proxy funciona apenas em letras minúsculas, enquanto HTTPS_PROXY, ALL_PROXY (todos os protocolos) e NO_PROXY (hosts a serem ignorados) também podem ser em maiúsculas.
  • Código: scrapers e outros scripts podem definir o proxy no código para cada solicitação ou sessão.

Configurações a Verificar Quando um Proxy Não Funciona

  • Quais configurações o aplicativo lê: uma ferramenta de linha de comando que lê variáveis de ambiente ignora as configurações do sistema, e um navegador com sua própria configuração pode ignorá-las também.
  • Endereços locais: a Microsoft recomenda manter a opção de ignorar o proxy para endereços locais ativada, a menos que sua organização diga o contrário.
  • DNS com SOCKS: se o aplicativo resolver nomes de host por conta própria em vez de através do proxy, as consultas podem ignorá-lo e causar um vazamento de DNS. A configuração do Firefox para enviar DNS através de um proxy SOCKS5 está ativada por padrão desde o Firefox 128.

O Que Isso Significa para Web Scraping

Configurações globais do sistema enviam todos os aplicativos através de um proxy. Um scraper que define o proxy por solicitação ou sessão pode enviar cada sessão através de um endereço diferente, o que é a base da rotação de IP.

Termos Relacionados