HTTP代理是一个服务器,它接收客户端的HTTP请求,将其转发到目标服务器,并将响应返回给客户端。对于HTTPS网站,客户端使用CONNECT方法通过代理打开一个隧道,代理随后转发加密流量,但无法读取这些流量。

HTTP代理可以读取甚至修改通过它传输的未加密HTTP流量,因此敏感数据应通过HTTPS传输,在这种情况下,代理仅隧道化加密流量。

HTTP代理如何处理请求

  1. 客户端将请求发送到代理,而不是网站。对于普通HTTP,它使用完整的目标URL;对于HTTPS,它发送一个CONNECT host:443请求。
  2. 如果代理需要登录,客户端会添加一个Proxy-Authorization头部。
  3. 对于HTTP,代理将请求转发到目标。对于CONNECT,它回复一个2xx状态并切换到隧道模式。
  4. 响应通过代理返回给客户端。

正向、反向和透明HTTP代理

  • 正向代理: 代表客户端行动,可以隐藏其身份不被网站识别。用户可以设置一个正向代理以在浏览时隐藏其IP地址。
  • 反向代理: 代表Web服务器行动,处理负载均衡和缓存静态内容等任务。
  • 透明(拦截)代理: 放置在网络路径中,因此客户端无需配置,可能不知道它的存在。

HTTP代理与SOCKS5代理

HTTP代理SOCKS5代理
理解的内容HTTP请求和响应传输层以上的内容;它转发数据而不读取它作为HTTP
传输的流量Web流量,HTTPS通过CONNECT隧道传输TCP和UDP,适用于任何支持SOCKS的应用程序
可以添加如Via的头部是否
在curl中当代理没有方案时的默认类型使用socks5://或socks5h://代理URL设置

缓存

一些HTTP代理存储响应以减少离开网络的流量。MDN称这些为代理缓存,一种共享缓存。网站用Cache-Control: private标记个性化响应,以便共享缓存不存储它们。HTTPS响应通常通过隧道在代理中传输,因此在许多情况下,代理无法缓存它们。

对网络爬虫的意义

  • HTTP通常是默认的: curl将没有方案的代理视为HTTP代理,例如proxy.example.com:8080。请参见代理设置,了解客户端存储的位置。
  • 头部可能暴露代理: 代理可能添加Via头部,有些代理还会添加X-Forwarded-For,其中包含原始客户端IP。在依赖代理隐藏您的地址之前,请检查代理发送的内容。

相关术语