Um proxy HTTP é um servidor que recebe as solicitações HTTP de um cliente, as encaminha para o servidor de destino e devolve as respostas. Para sites HTTPS, o cliente usa o método CONNECT para abrir um túnel através do proxy, que então retransmite o tráfego criptografado sem conseguir lê-lo.

Um proxy HTTP pode ler e até modificar o tráfego HTTP não criptografado que passa por ele, portanto, dados sensíveis devem viajar através do HTTPS, onde o proxy apenas cria um túnel para o tráfego criptografado.

Como um Proxy HTTP Lida com uma Solicitação

  1. O cliente envia sua solicitação para o proxy em vez do site. Para HTTP simples, ele usa a URL completa do destino; para HTTPS, ele envia uma CONNECT host:443 solicitação.
  2. Se o proxy exigir um login, o cliente adiciona um cabeçalho Proxy-Authorization.
  3. Para HTTP, o proxy encaminha a solicitação para o destino. Para CONNECT, ele responde com um status 2xx e muda para o modo túnel.
  4. A resposta viaja de volta através do proxy para o cliente.

Proxies HTTP Direcionais, Reversos e Transparentes

  • Proxy Direcional: atua em nome dos clientes e pode ocultar sua identidade dos sites. Os usuários podem configurá-lo para esconder seu endereço IP enquanto navegam.
  • Proxy Reverso: atua em nome dos servidores web, lidando com tarefas como balanceamento de carga e cache de conteúdo estático.
  • Proxy Transparente (interceptador): colocado no caminho da rede, de modo que os clientes não o configurem e podem não saber que ele está lá.

Proxy HTTP vs. Proxy SOCKS5

Proxy HTTPProxy SOCKS5
O que entendeSolicitações e respostas HTTPNada acima da camada de transporte; retransmite dados sem lê-los como HTTP
Tráfego que carregaTráfego web, com HTTPS passando por um túnel CONNECTTCP e UDP para qualquer aplicativo que suporte SOCKS
Pode adicionar cabeçalhos como ViaSimNão
Em curlTipo padrão quando o proxy não tem esquemaDefinido com uma socks5:// ou socks5h:// URL de proxy

Cache

Alguns proxies HTTP armazenam respostas para reduzir o tráfego que sai de uma rede. O MDN chama esses caches de proxy, um tipo de cache compartilhado. Os sites marcam respostas personalizadas com Cache-Control: private para que caches compartilhados não as armazenem. As respostas HTTPS geralmente passam por um proxy em um túnel, então, em muitos casos, o proxy não pode armazená-las em cache.

O Que Isso Significa para Web Scraping

  • HTTP é frequentemente o padrão: curl trata um proxy fornecido sem um esquema, como proxy.example.com:8080, como um proxy HTTP. Veja configurações de proxy para onde os clientes armazenam isso.
  • Cabeçalhos podem revelar o proxy: proxies podem adicionar um cabeçalho Via, e alguns adicionam X-Forwarded-For com o IP original do cliente. Verifique o que um proxy envia antes de confiar nele para ocultar seu endereço.

Termos Relacionados