HTTP 代理是一種伺服器,接收客戶端的 HTTP 請求,將其轉發到目標伺服器並將響應傳回。對於 HTTPS 網站,客戶端使用 CONNECT 方法通過代理打開隧道,然後轉發加密流量而無法讀取。
HTTP 代理可以讀取甚至修改未加密的 HTTP 流量,因此敏感數據應該通過 HTTPS 傳輸,這樣代理僅隧道加密流量。
HTTP 代理如何處理請求
- 客戶端將請求發送給代理,而不是網站。對於普通 HTTP,它使用完整的目標 URL;對於 HTTPS,它發送
CONNECT host:443請求。 - 如果代理需要登錄,客戶端會添加
Proxy-Authorization標頭。 - 對於 HTTP,代理將請求轉發到目標。對於 CONNECT,它以 2xx 狀態回應並切換到隧道模式。
- 響應通過代理返回給客戶端。
正向、反向和透明 HTTP 代理
- 正向代理: 代表客戶端行事,可以隱藏其身份不被網站識別。用戶可以設置一個來隱藏他們的 IP 地址以進行瀏覽。
- 反向代理: 代表網頁伺服器行事,處理負載平衡和緩存靜態內容等工作。
- 透明(攔截)代理: 放置在網絡路徑中,因此客戶端不需要配置它,並且可能不知道它的存在。
HTTP 代理與 SOCKS5 代理
| HTTP 代理 | SOCKS5 代理 | |
|---|---|---|
| 它理解的內容 | HTTP 請求和響應 | 不理解傳輸層以上的內容;它在不讀取的情況下轉發數據作為 HTTP |
| 它承載的流量 | 網頁流量,HTTPS 通過 CONNECT 隧道傳遞 | TCP 和 UDP 用於任何支持 SOCKS 的應用程序 |
可以添加標頭如 Via | 是 | 否 |
| 在 curl | 當代理沒有方案時的默認類型 | 使用 socks5:// 或 socks5h:// 代理 URL 設置 |
緩存
一些 HTTP 代理存儲響應以減少離開網絡的流量。MDN 將這些稱為代理緩存,一種共享緩存。網站用 Cache-Control: private 標記個性化響應,以便共享緩存不會存儲它們。HTTPS 響應通常通過隧道經過代理,因此在許多情況下,代理無法緩存它們。
對網頁抓取的意義
- HTTP 通常是默認: curl 將未指定方案的代理(如
proxy.example.com:8080)視為 HTTP 代理。請參見 代理設置 以了解客戶端存儲的位置。 - 標頭可能揭示代理: 代理可能會添加
Via標頭,並且有些會添加 X-Forwarded-For 以顯示原始客戶端 IP。在依賴代理隱藏您的地址之前,請檢查代理發送的內容。