Um endereço IP é um rótulo numérico atribuído a um dispositivo conectado a uma rede, usado para identificar e localizar esse dispositivo, de modo que os dados possam ser roteados para e a partir dele corretamente. Os sites usam o endereço IP de uma solicitação recebida para determinar a localização aproximada de um visitante e aplicar regras de acesso como limites de taxa ou restrições geográficas.
Um proxy de encaminhamento altera qual endereço IP uma solicitação carrega: a solicitação parece vir do endereço IP do proxy.
Como os Endereços IP São Atribuídos
- Registros: A IANA aloca blocos de endereços para cinco registros regionais de internet: AFRINIC, APNIC, ARIN, LACNIC e RIPE NCC. Cada registro aloca blocos para seus membros, geralmente ISPs, que repassam endereços para seus clientes.
- Redes locais: O DHCP distribui endereços para dispositivos em uma rede. Com a alocação dinâmica, um dispositivo aluga um endereço por um tempo limitado, e o endereço pode ser reutilizado uma vez que o dispositivo não precise mais dele.
Endereços IP Públicos vs. Privados
| Endereço IP público | Endereço IP privado | |
|---|---|---|
| De onde vem | Blocos alocados através dos registros, geralmente via seu ISP | Seu roteador ou administrador de rede |
| Acessível pela internet | Sim | Não. O RFC 1918 diz que rotas para redes privadas não devem ser compartilhadas fora delas |
| Faixas IPv4 | Faixas globalmente únicas | 10.0.0.0/8, 172.16.0.0/12 e 192.168.0.0/16 |
| Visto por sites | Sim | Não |
Dispositivos com endereços privados geralmente acessam a internet através de NAT, então os sites veem o endereço público do roteador em vez disso.
Endereços IP Estáticos vs. Dinâmicos
- Dinâmico: atribuído por um tempo limitado, portanto pode mudar. O DHCP chama esse tempo de locação.
- Estático: permanece o mesmo. O DHCP pode dar a um cliente um endereço permanente ou passar um que um administrador definiu manualmente.
Os proxies seguem a mesma divisão: um proxy estático mantém um IP, enquanto a rotação de IP o altera.
IPv4 vs. IPv6
- IPv4 (por exemplo, 192.168.1.1), que oferece cerca de 4,3 bilhões de endereços únicos
- IPv6, um formato mais novo projetado para acomodar o número muito maior de dispositivos conectados à internet
Veja IPv4 vs. IPv6 para como os dois diferem para usuários de proxy.
Geolocalização de IP
Os sites estimam a localização de um visitante a partir do endereço IP, e a estimativa não é exata. A MaxMind, um provedor de dados de geolocalização, afirma que seus dados nunca são precisos o suficiente para localizar um domicílio específico, pessoa ou endereço de rua. Resultados em nível de cidade vêm com um raio de precisão, como 100 km.
Endereços IP Compartilhados
Muitos usuários podem compartilhar um único endereço IPv4 público, por exemplo, por trás de NAT de grau de operadora. O RFC 6269 alerta que, quando um servidor bloqueia um endereço após muitas tentativas de login falhadas, pode bloquear todos os outros usuários que o compartilham.
O Que Isso Significa para Web Scraping
- Limites seguem o IP: os sites contam solicitações por endereço. Distribuir solicitações entre muitos IPs mantém cada um abaixo do limite.
- IPs compartilhados compartilham bloqueios: se outro usuário de um proxy compartilhado tiver seu IP bloqueado, suas solicitações desse IP também são bloqueadas.