HTTP 代理是一个接收客户端 HTTP 请求的服务器,将其转发到目标服务器并将响应返回的服务器。对于 HTTPS 网站,客户端使用 CONNECT 方法通过代理打开一个隧道,代理随后转发加密流量而无法读取。

HTTP 代理可以读取甚至修改通过它传输的未加密 HTTP 流量,因此敏感数据应通过 HTTPS 传输,代理仅隧道加密流量。

HTTP 代理如何处理请求

  1. 客户端将请求发送到代理,而不是网站。对于普通 HTTP,它使用完整的目标 URL;对于 HTTPS,它发送一个 CONNECT host:443 请求。
  2. 如果代理需要登录,客户端会添加 Proxy-Authorization 头。
  3. 对于 HTTP,代理将请求转发到目标。对于 CONNECT,它回复一个 2xx 状态并切换到隧道模式。
  4. 响应通过代理返回给客户端。

正向、反向和透明 HTTP 代理

  • 正向代理: 代表客户端行动,可以隐藏其身份不被网站识别。用户可以设置一个来隐藏其 IP 地址以进行浏览。
  • 反向代理: 代表 Web 服务器行动,处理负载均衡和缓存静态内容等任务。
  • 透明(拦截)代理: 放置在网络路径中,因此客户端不需要配置它,可能不知道它的存在。

HTTP 代理与 SOCKS5 代理

HTTP 代理SOCKS5 代理
它理解什么HTTP 请求和响应传输层以上的内容;它转发数据而不读取它作为 HTTP
它承载的流量Web 流量,HTTPS 通过 CONNECT 隧道传递TCP 和 UDP 适用于任何支持 SOCKS 的应用程序
可以添加诸如 Via 的头是否
在 curl当代理没有方案时的默认类型使用 socks5:// 或 socks5h:// 代理 URL 设置

缓存

一些 HTTP 代理存储响应以减少离开网络的流量。MDN 称这些为代理缓存,一种共享缓存。网站用 Cache-Control: private 标记个性化响应,以便共享缓存不存储它们。HTTPS 响应通常通过隧道传递,因此在许多情况下,代理无法缓存它们。

这对网络爬虫意味着什么

  • HTTP 通常是默认的: curl 将没有方案的代理视为 HTTP 代理,例如 proxy.example.com:8080。请参见 代理设置 以了解客户端存储的位置。
  • 头信息可能会泄露代理: 代理可能会添加 Via 头,一些代理会添加 X-Forwarded-For 头,包含原始客户端 IP。在依赖代理隐藏您的地址之前,请检查代理发送的内容。

相关术语