代理设置是配置选项,用于告知设备、浏览器或应用程序是否通过代理服务器发送其流量,以及如何到达该服务器,例如代理的地址、端口和登录详细信息。如果没有这些设置,流量将直接发送到网站。
代理设置包含的内容
- 地址和端口: 代理的IP地址或主机名及其 端口号。
- 协议: 例如,macOS为网页(HTTP)代理、安全网页(HTTPS)代理和SOCKS代理提供了单独的条目。
- 登录详细信息: 当代理需要时的用户名和密码。请参见 代理认证。
- 绕过列表: 应该跳过代理的主机和域。Windows还提供了一个选项,可以跳过本地(内部网)地址的代理。
- 自动设置: 设备可以自动检测网络的代理设置,或加载设置脚本,也称为PAC文件,而不是手动输入地址。WPAD是为自动发现设计的协议。
代理设置的配置位置
- 操作系统: Windows和macOS存储 系统范围设置,许多应用程序遵循这些设置。在Windows上,VPN连接有其自己的代理设置,需要单独设置。
- 浏览器: 基于Chromium的浏览器使用系统网络设置,
--proxy-server命令行标志可以覆盖这些设置。Firefox可以使用系统设置或其自己的设置:无代理、自动检测、手动配置或PAC文件URL。 - 命令行工具: curl读取环境变量。
http_proxy仅在小写下有效,而HTTPS_PROXY、ALL_PROXY(所有协议)和NO_PROXY(要跳过的主机)也可以是大写。 - 代码: 抓取器和其他脚本可以在代码中 设置代理,用于每个请求或会话。
当代理无法工作时需要检查的设置
- 应用程序读取哪些设置: 读取环境变量的命令行工具会忽略系统设置,而具有自己配置的浏览器也可能忽略这些设置。
- 本地地址: 微软建议保持跳过本地地址的选项开启,除非您的组织另有说明。
- 使用SOCKS的DNS: 如果应用程序自行解析主机名而不是通过代理,查找可能会绕过代理并导致 DNS泄漏。自Firefox 128以来,Firefox的设置默认通过SOCKS5代理发送DNS。
对网络抓取的意义
系统范围的设置使每个应用程序都通过一个代理。设置每个请求或会话的代理的抓取器可以将每个会话发送通过不同的地址,这就是 IP轮换的基础。