HTTP 代理是一个接收客户端 HTTP 请求的服务器,将其转发到目标服务器并将响应返回的服务器。对于 HTTPS 网站,客户端使用 CONNECT 方法通过代理打开一个隧道,代理随后转发加密流量而无法读取。
HTTP 代理可以读取甚至修改通过它传输的未加密 HTTP 流量,因此敏感数据应通过 HTTPS 传输,代理仅隧道加密流量。
HTTP 代理如何处理请求
- 客户端将请求发送到代理,而不是网站。对于普通 HTTP,它使用完整的目标 URL;对于 HTTPS,它发送一个
CONNECT host:443请求。 - 如果代理需要登录,客户端会添加
Proxy-Authorization头。 - 对于 HTTP,代理将请求转发到目标。对于 CONNECT,它回复一个 2xx 状态并切换到隧道模式。
- 响应通过代理返回给客户端。
正向、反向和透明 HTTP 代理
- 正向代理: 代表客户端行动,可以隐藏其身份不被网站识别。用户可以设置一个来隐藏其 IP 地址以进行浏览。
- 反向代理: 代表 Web 服务器行动,处理负载均衡和缓存静态内容等任务。
- 透明(拦截)代理: 放置在网络路径中,因此客户端不需要配置它,可能不知道它的存在。
HTTP 代理与 SOCKS5 代理
| HTTP 代理 | SOCKS5 代理 | |
|---|---|---|
| 它理解什么 | HTTP 请求和响应 | 传输层以上的内容;它转发数据而不读取它作为 HTTP |
| 它承载的流量 | Web 流量,HTTPS 通过 CONNECT 隧道传递 | TCP 和 UDP 适用于任何支持 SOCKS 的应用程序 |
可以添加诸如 Via 的头 | 是 | 否 |
| 在 curl | 当代理没有方案时的默认类型 | 使用 socks5:// 或 socks5h:// 代理 URL 设置 |
缓存
一些 HTTP 代理存储响应以减少离开网络的流量。MDN 称这些为代理缓存,一种共享缓存。网站用 Cache-Control: private 标记个性化响应,以便共享缓存不存储它们。HTTPS 响应通常通过隧道传递,因此在许多情况下,代理无法缓存它们。
这对网络爬虫意味着什么
- HTTP 通常是默认的: curl 将没有方案的代理视为 HTTP 代理,例如
proxy.example.com:8080。请参见 代理设置 以了解客户端存储的位置。 - 头信息可能会泄露代理: 代理可能会添加
Via头,一些代理会添加 X-Forwarded-For 头,包含原始客户端 IP。在依赖代理隐藏您的地址之前,请检查代理发送的内容。