IP 地址是分配给连接到网络的设备的数字标签,用于识别和定位该设备,以便数据能够正确地路由到该设备及其返回。网站使用传入请求的 IP 地址来确定访问者的大致位置,并应用访问规则,如 速率限制 或地理限制。
一个 转发代理 更改请求携带的 IP 地址:请求看起来是来自代理的 IP 地址。
IP 地址的分配方式
- 注册机构: IANA 将地址块分配给五个区域互联网注册机构:AFRINIC、APNIC、ARIN、LACNIC 和 RIPE NCC。每个注册机构将块分配给其成员,通常是 ISP,ISP 将地址转发给其客户。
- 本地网络: DHCP 向网络上的设备分配地址。通过动态分配,设备在有限的时间内租用一个地址,并且一旦设备不再需要该地址,该地址可以被重新使用。
公共 IP 地址与私有 IP 地址
| 公共 IP 地址 | 私有 IP 地址 | |
|---|---|---|
| :-------------------------- | :------------------------------------------------------------ | :---------------------------------------------------------------------------- |
| 来源 | 通过注册机构分配的块,通常通过您的 ISP | 您的路由器或网络管理员 |
| 可从互联网访问 | 是 | 否。RFC 1918 规定私有网络的路由不应在外部共享 |
| IPv4 范围 | 全球唯一的范围 | 10.0.0.0/8、172.16.0.0/12 和 192.168.0.0/16 |
| 网站可见 | 是 | 否 |
具有私有地址的设备通常通过 NAT 访问互联网,因此网站看到的是路由器的公共地址。
静态 IP 地址与动态 IP 地址
- 动态: 在有限的时间内分配,因此可以更改。DHCP 将此时间称为租约。
- 静态: 保持不变。DHCP 可以为客户端提供一个永久地址,或传递一个管理员手动设置的地址。
代理遵循相同的划分:一个 静态代理 保持一个 IP,而 IP 轮换 则更改它。
IPv4 与 IPv6
- IPv4(例如,192.168.1.1),提供大约 43 亿个唯一地址
- IPv6,一种新格式,旨在容纳更多的互联网连接设备
请参阅 IPv4 与 IPv6 以了解两者对代理用户的不同之处。
IP 地理定位
网站根据 IP 地址估算访问者的位置,估算并不精确。地理定位数据提供商 MaxMind 表示,其数据从未精确到足以定位特定的家庭、个人或街道地址。城市级结果带有准确度半径,例如 100 公里。
共享 IP 地址
许多用户可以共享一个公共 IPv4 地址,例如在运营商级 NAT 后面。RFC 6269 警告说,当服务器在尝试登录失败过多后阻止一个地址时,可能会锁定共享该地址的其他所有用户。
对网络爬虫的影响
- 限制跟随 IP: 网站按地址计算请求。将请求分散到多个 IP 上可以使每个 IP 保持在限制之下。
- 共享 IP 共享块: 如果 共享代理 的其他用户的 IP 被阻止,您从该 IP 发出的请求也会被阻止。