HTTP代理是一个服务器,它接收客户端的HTTP请求,将其转发到目标服务器,并将响应返回给客户端。对于HTTPS网站,客户端使用CONNECT方法通过代理打开一个隧道,代理随后转发加密流量,但无法读取这些流量。
HTTP代理可以读取甚至修改通过它传输的未加密HTTP流量,因此敏感数据应通过HTTPS传输,在这种情况下,代理仅隧道化加密流量。
HTTP代理如何处理请求
- 客户端将请求发送到代理,而不是网站。对于普通HTTP,它使用完整的目标URL;对于HTTPS,它发送一个
CONNECT host:443请求。 - 如果代理需要登录,客户端会添加一个
Proxy-Authorization头部。 - 对于HTTP,代理将请求转发到目标。对于CONNECT,它回复一个2xx状态并切换到隧道模式。
- 响应通过代理返回给客户端。
正向、反向和透明HTTP代理
- 正向代理: 代表客户端行动,可以隐藏其身份不被网站识别。用户可以设置一个正向代理以在浏览时隐藏其IP地址。
- 反向代理: 代表Web服务器行动,处理负载均衡和缓存静态内容等任务。
- 透明(拦截)代理: 放置在网络路径中,因此客户端无需配置,可能不知道它的存在。
HTTP代理与SOCKS5代理
| HTTP代理 | SOCKS5代理 | |
|---|---|---|
| 理解的内容 | HTTP请求和响应 | 传输层以上的内容;它转发数据而不读取它作为HTTP |
| 传输的流量 | Web流量,HTTPS通过CONNECT隧道传输 | TCP和UDP,适用于任何支持SOCKS的应用程序 |
可以添加如Via的头部 | 是 | 否 |
| 在curl中 | 当代理没有方案时的默认类型 | 使用socks5://或socks5h://代理URL设置 |
缓存
一些HTTP代理存储响应以减少离开网络的流量。MDN称这些为代理缓存,一种共享缓存。网站用Cache-Control: private标记个性化响应,以便共享缓存不存储它们。HTTPS响应通常通过隧道在代理中传输,因此在许多情况下,代理无法缓存它们。
对网络爬虫的意义
- HTTP通常是默认的: curl将没有方案的代理视为HTTP代理,例如
proxy.example.com:8080。请参见代理设置,了解客户端存储的位置。 - 头部可能暴露代理: 代理可能添加
Via头部,有些代理还会添加X-Forwarded-For,其中包含原始客户端IP。在依赖代理隐藏您的地址之前,请检查代理发送的内容。