As configurações de proxy são as opções de configuração que informam a um dispositivo, navegador ou aplicativo se devem enviar seu tráfego através de um servidor proxy e como alcançá-lo, como o endereço do proxy, a porta e os detalhes de login. Sem elas, o tráfego vai diretamente para os sites.
O Que as Configurações de Proxy Incluem
- Endereço e porta: o endereço IP ou nome do host do proxy e seu número da porta.
- Protocolo: o macOS, por exemplo, possui entradas separadas para um proxy web (HTTP), um proxy web seguro (HTTPS) e um proxy SOCKS.
- Detalhes de login: um nome de usuário e senha quando o proxy os requer. Veja autenticação de proxy.
- Lista de exceções: hosts e domínios que devem ignorar o proxy. O Windows também tem uma opção para ignorar o proxy para endereços locais (intranet).
- Configuração automática: em vez de digitar um endereço, um dispositivo pode detectar automaticamente as configurações de proxy da rede ou carregar um script de configuração, também chamado de arquivo PAC. WPAD é o protocolo projetado para descoberta automática.
Onde as Configurações de Proxy São Configuradas
- Sistema operacional: Windows e macOS armazenam configurações globais do sistema que muitos aplicativos seguem. No Windows, uma conexão VPN tem suas próprias configurações de proxy que você define separadamente.
- Navegadores: navegadores baseados em Chromium usam as configurações de rede do sistema, que a flag de linha de comando
--proxy-serverpode substituir. O Firefox pode usar as configurações do sistema ou as suas próprias: sem proxy, detecção automática, configuração manual ou uma URL de arquivo PAC. - Ferramentas de linha de comando: curl lê variáveis de ambiente.
http_proxyfunciona apenas em letras minúsculas, enquantoHTTPS_PROXY,ALL_PROXY(todos os protocolos) eNO_PROXY(hosts a serem ignorados) também podem ser em maiúsculas. - Código: scrapers e outros scripts podem definir o proxy no código para cada solicitação ou sessão.
Configurações a Verificar Quando um Proxy Não Funciona
- Quais configurações o aplicativo lê: uma ferramenta de linha de comando que lê variáveis de ambiente ignora as configurações do sistema, e um navegador com sua própria configuração pode ignorá-las também.
- Endereços locais: a Microsoft recomenda manter a opção de ignorar o proxy para endereços locais ativada, a menos que sua organização diga o contrário.
- DNS com SOCKS: se o aplicativo resolver nomes de host por conta própria em vez de através do proxy, as consultas podem ignorá-lo e causar um vazamento de DNS. A configuração do Firefox para enviar DNS através de um proxy SOCKS5 está ativada por padrão desde o Firefox 128.
O Que Isso Significa para Web Scraping
Configurações globais do sistema enviam todos os aplicativos através de um proxy. Um scraper que define o proxy por solicitação ou sessão pode enviar cada sessão através de um endereço diferente, o que é a base da rotação de IP.