代理設置是告訴設備、瀏覽器或應用程式是否通過代理伺服器發送其流量以及如何到達該伺服器的配置選項,例如代理的地址、端口和登錄詳細信息。沒有這些設置,流量將直接發送到網站。

代理設置包括

  • 地址和端口: 代理的 IP 地址或主機名及其 端口號。
  • 協議: 例如,macOS 為網頁 (HTTP) 代理、安全網頁 (HTTPS) 代理和 SOCKS 代理提供了單獨的條目。
  • 登錄詳細信息: 當代理需要時的用戶名和密碼。請參見 代理身份驗證。
  • 繞過列表: 應該跳過代理的主機和域名。Windows 還有一個選項可以跳過本地 (內部網絡) 地址的代理。
  • 自動設置: 設備可以自動檢測網絡的代理設置或加載設置腳本,而無需輸入地址,這個腳本也稱為 PAC 文件。WPAD 是為自動發現設計的協議。

代理設置的配置位置

  • 操作系統: Windows 和 macOS 儲存 系統範圍的設置,許多應用程式會遵循這些設置。在 Windows 上,VPN 連接有自己的代理設置,您需要單獨設置。
  • 瀏覽器: 基於 Chromium 的瀏覽器使用系統網絡設置,--proxy-server 命令行標誌可以覆蓋這些設置。Firefox 可以使用系統設置或其自己的設置:無代理、自動檢測、手動配置或 PAC 文件 URL。
  • 命令行工具: curl 讀取環境變量。http_proxy 僅在小寫中有效,而 HTTPS_PROXY、ALL_PROXY(所有協議)和 NO_PROXY(要跳過的主機)也可以是大寫。
  • 代碼: 抓取器和其他腳本可以 在代碼中設置代理,以便為每個請求或會話設置。

當代理無法正常工作時需要檢查的設置

  • 應用程式讀取哪些設置: 讀取環境變量的命令行工具會忽略系統設置,而具有自己配置的瀏覽器也可能忽略這些設置。
  • 本地地址: 微軟建議保持跳過本地地址的代理選項開啟,除非您的組織另有規定。
  • 使用 SOCKS 的 DNS: 如果應用程式自行解析主機名而不是通過代理,查詢可能會繞過代理並導致 DNS 漏洩。自 Firefox 128 以來,Firefox 的設置默認將 DNS 通過 SOCKS5 代理發送。

對網頁抓取的意義

系統範圍的設置使每個應用程式都通過一個代理。每個請求或會話設置代理的抓取器可以將每個會話通過不同的地址發送,這是 IP 旋轉 的基礎。

相關術語