Um proxy HTTP é um servidor que recebe as solicitações HTTP de um cliente, as encaminha para o servidor de destino e devolve as respostas. Para sites HTTPS, o cliente usa o método CONNECT para abrir um túnel através do proxy, que então retransmite o tráfego criptografado sem conseguir lê-lo.
Um proxy HTTP pode ler e até modificar o tráfego HTTP não criptografado que passa por ele, portanto, dados sensíveis devem viajar através do HTTPS, onde o proxy apenas cria um túnel para o tráfego criptografado.
Como um Proxy HTTP Lida com uma Solicitação
- O cliente envia sua solicitação para o proxy em vez do site. Para HTTP simples, ele usa a URL completa do destino; para HTTPS, ele envia uma
CONNECT host:443solicitação. - Se o proxy exigir um login, o cliente adiciona um cabeçalho
Proxy-Authorization. - Para HTTP, o proxy encaminha a solicitação para o destino. Para CONNECT, ele responde com um status 2xx e muda para o modo túnel.
- A resposta viaja de volta através do proxy para o cliente.
Proxies HTTP Direcionais, Reversos e Transparentes
- Proxy Direcional: atua em nome dos clientes e pode ocultar sua identidade dos sites. Os usuários podem configurá-lo para esconder seu endereço IP enquanto navegam.
- Proxy Reverso: atua em nome dos servidores web, lidando com tarefas como balanceamento de carga e cache de conteúdo estático.
- Proxy Transparente (interceptador): colocado no caminho da rede, de modo que os clientes não o configurem e podem não saber que ele está lá.
Proxy HTTP vs. Proxy SOCKS5
| Proxy HTTP | Proxy SOCKS5 | |
|---|---|---|
| O que entende | Solicitações e respostas HTTP | Nada acima da camada de transporte; retransmite dados sem lê-los como HTTP |
| Tráfego que carrega | Tráfego web, com HTTPS passando por um túnel CONNECT | TCP e UDP para qualquer aplicativo que suporte SOCKS |
Pode adicionar cabeçalhos como Via | Sim | Não |
| Em curl | Tipo padrão quando o proxy não tem esquema | Definido com uma socks5:// ou socks5h:// URL de proxy |
Cache
Alguns proxies HTTP armazenam respostas para reduzir o tráfego que sai de uma rede. O MDN chama esses caches de proxy, um tipo de cache compartilhado. Os sites marcam respostas personalizadas com Cache-Control: private para que caches compartilhados não as armazenem. As respostas HTTPS geralmente passam por um proxy em um túnel, então, em muitos casos, o proxy não pode armazená-las em cache.
O Que Isso Significa para Web Scraping
- HTTP é frequentemente o padrão: curl trata um proxy fornecido sem um esquema, como
proxy.example.com:8080, como um proxy HTTP. Veja configurações de proxy para onde os clientes armazenam isso. - Cabeçalhos podem revelar o proxy: proxies podem adicionar um cabeçalho
Via, e alguns adicionam X-Forwarded-For com o IP original do cliente. Verifique o que um proxy envia antes de confiar nele para ocultar seu endereço.