La configuración del proxy son las opciones de configuración que indican a un dispositivo, navegador o aplicación si debe enviar su tráfico a través de un servidor proxy y cómo alcanzarlo, como la dirección del proxy, el puerto y los detalles de inicio de sesión. Sin ellas, el tráfico va directamente a los sitios web.

Qué Incluyen las Configuraciones del Proxy

  • Dirección y puerto: la dirección IP o el nombre de host del proxy y su número de puerto.
  • Protocolo: macOS, por ejemplo, tiene entradas separadas para un proxy web (HTTP), un proxy web seguro (HTTPS) y un proxy SOCKS.
  • Detalles de inicio de sesión: un nombre de usuario y una contraseña cuando el proxy los requiere. Ver autenticación de proxy.
  • Lista de omisión: hosts y dominios que deben saltarse el proxy. Windows también tiene una opción para omitir el proxy para direcciones locales (intranet).
  • Configuración automática: en lugar de escribir una dirección, un dispositivo puede detectar automáticamente la configuración del proxy de la red o cargar un script de configuración, también llamado archivo PAC. WPAD es el protocolo diseñado para el descubrimiento automático.

Dónde se Configuran las Configuraciones del Proxy

  • Sistema operativo: Windows y macOS almacenan configuraciones a nivel de sistema que muchas aplicaciones siguen. En Windows, una conexión VPN tiene su propia configuración de proxy que se establece por separado.
  • Navegadores: los navegadores basados en Chromium utilizan la configuración de red del sistema, que puede ser anulada por la bandera de línea de comandos --proxy-server. Firefox puede usar la configuración del sistema o la suya propia: sin proxy, detección automática, configuración manual o una URL de archivo PAC.
  • Herramientas de línea de comandos: curl lee variables de entorno. http_proxy solo funciona en minúsculas, mientras que HTTPS_PROXY, ALL_PROXY (todos los protocolos) y NO_PROXY (hosts a omitir) también pueden estar en mayúsculas.
  • Código: los scrapers y otros scripts pueden configurar el proxy en el código para cada solicitud o sesión.

Configuraciones a Verificar Cuando un Proxy No Funciona

  • Qué configuraciones lee la aplicación: una herramienta de línea de comandos que lee variables de entorno ignora las configuraciones del sistema, y un navegador con su propia configuración también puede ignorarlas.
  • Direcciones locales: Microsoft recomienda mantener la opción de omitir el proxy para direcciones locales activada a menos que su organización indique lo contrario.
  • DNS con SOCKS: si la aplicación resuelve nombres de host por sí misma en lugar de a través del proxy, las búsquedas pueden eludirlo y causar una filtración de DNS. La configuración de Firefox para enviar DNS a través de un proxy SOCKS5 ha estado activada por defecto desde Firefox 128.

Lo Que Significa para el Web Scraping

Las configuraciones a nivel de sistema envían cada aplicación a través de un proxy. Un scraper que establece el proxy por solicitud o sesión puede enviar cada sesión a través de una dirección diferente, que es la base de rotación de IP.

Términos Relacionados