HTTP 代理是一種伺服器,接收客戶端的 HTTP 請求,將其轉發到目標伺服器並將響應傳回。對於 HTTPS 網站,客戶端使用 CONNECT 方法通過代理打開隧道,然後轉發加密流量而無法讀取。

HTTP 代理可以讀取甚至修改未加密的 HTTP 流量,因此敏感數據應該通過 HTTPS 傳輸,這樣代理僅隧道加密流量。

HTTP 代理如何處理請求

  1. 客戶端將請求發送給代理,而不是網站。對於普通 HTTP,它使用完整的目標 URL;對於 HTTPS,它發送 CONNECT host:443 請求。
  2. 如果代理需要登錄,客戶端會添加 Proxy-Authorization 標頭。
  3. 對於 HTTP,代理將請求轉發到目標。對於 CONNECT,它以 2xx 狀態回應並切換到隧道模式。
  4. 響應通過代理返回給客戶端。

正向、反向和透明 HTTP 代理

  • 正向代理: 代表客戶端行事,可以隱藏其身份不被網站識別。用戶可以設置一個來隱藏他們的 IP 地址以進行瀏覽。
  • 反向代理: 代表網頁伺服器行事,處理負載平衡和緩存靜態內容等工作。
  • 透明(攔截)代理: 放置在網絡路徑中,因此客戶端不需要配置它,並且可能不知道它的存在。

HTTP 代理與 SOCKS5 代理

HTTP 代理SOCKS5 代理
它理解的內容HTTP 請求和響應不理解傳輸層以上的內容;它在不讀取的情況下轉發數據作為 HTTP
它承載的流量網頁流量,HTTPS 通過 CONNECT 隧道傳遞TCP 和 UDP 用於任何支持 SOCKS 的應用程序
可以添加標頭如 Via是否
在 curl當代理沒有方案時的默認類型使用 socks5:// 或 socks5h:// 代理 URL 設置

緩存

一些 HTTP 代理存儲響應以減少離開網絡的流量。MDN 將這些稱為代理緩存,一種共享緩存。網站用 Cache-Control: private 標記個性化響應,以便共享緩存不會存儲它們。HTTPS 響應通常通過隧道經過代理,因此在許多情況下,代理無法緩存它們。

對網頁抓取的意義

  • HTTP 通常是默認: curl 將未指定方案的代理(如 proxy.example.com:8080)視為 HTTP 代理。請參見 代理設置 以了解客戶端存儲的位置。
  • 標頭可能揭示代理: 代理可能會添加 Via 標頭,並且有些會添加 X-Forwarded-For 以顯示原始客戶端 IP。在依賴代理隱藏您的地址之前,請檢查代理發送的內容。

相關術語