프록시 설정은 장치, 브라우저 또는 앱이 트래픽을 프록시 서버를 통해 전송할지 여부와 프록시의 주소, 포트 및 로그인 세부정보와 같은 접근 방법을 알려주는 구성 옵션입니다. 이러한 설정이 없으면 트래픽은 웹사이트로 직접 전송됩니다.
프록시 설정에 포함되는 항목
- 주소 및 포트: 프록시의 IP 주소 또는 호스트 이름과 그 포트 번호.
- 프로토콜: 예를 들어 macOS는 웹(HTTP) 프록시, 보안 웹(HTTPS) 프록시 및 SOCKS 프록시에 대한 별도의 항목을 가지고 있습니다.
- 로그인 세부정보: 프록시가 요구하는 경우 사용자 이름과 비밀번호. 프록시 인증을 참조하십시오.
- 우회 목록: 프록시를 건너뛰어야 하는 호스트 및 도메인. Windows에는 로컬(인트라넷) 주소에 대해 프록시를 건너뛰는 옵션도 있습니다.
- 자동 설정: 주소를 입력하는 대신 장치는 네트워크의 프록시 설정을 자동으로 감지하거나 PAC 파일이라고도 하는 설정 스크립트를 로드할 수 있습니다. WPAD는 자동 검색을 위해 설계된 프로토콜입니다.
프록시 설정이 구성되는 위치
- 운영 체제: Windows 및 macOS는 많은 앱이 따르는 시스템 전체 설정을 저장합니다. Windows에서는 VPN 연결이 별도로 설정하는 자체 프록시 설정을 가지고 있습니다.
- 브라우저: Chromium 기반 브라우저는 시스템 네트워크 설정을 사용하며,
--proxy-server명령줄 플래그로 이를 무시할 수 있습니다. Firefox는 시스템 설정이나 자체 설정을 사용할 수 있습니다: 프록시 없음, 자동 감지, 수동 구성 또는 PAC 파일 URL. - 명령줄 도구: curl은 환경 변수를 읽습니다.
http_proxy는 소문자에서만 작동하며,HTTPS_PROXY,ALL_PROXY(모든 프로토콜) 및NO_PROXY(건너뛸 호스트)는 대문자도 사용할 수 있습니다. - 코드: 스크래퍼 및 기타 스크립트는 각 요청 또는 세션에 대해 코드에서 프록시 설정할 수 있습니다.
프록시가 작동하지 않을 때 확인해야 할 설정
- 앱이 읽는 설정: 환경 변수를 읽는 명령줄 도구는 시스템 설정을 무시하며, 자체 구성이 있는 브라우저도 이를 무시할 수 있습니다.
- 로컬 주소: Microsoft는 조직에서 다르게 지시하지 않는 한 로컬 주소에 대한 프록시 건너뛰기 옵션을 켜두는 것을 권장합니다.
- SOCKS와 DNS: 앱이 프록시를 통해서가 아니라 자체적으로 호스트 이름을 해결하는 경우, 조회가 이를 우회하여 DNS 누수를 초래할 수 있습니다. Firefox의 SOCKS5 프록시를 통한 DNS 전송 설정은 Firefox 128부터 기본적으로 활성화되어 있습니다.
웹 스크래핑에 대한 의미
시스템 전체 설정은 모든 앱을 하나의 프록시를 통해 전송합니다. 요청 또는 세션별로 프록시를 설정하는 스크래퍼는 각 세션을 다른 주소를 통해 전송할 수 있으며, 이는 IP 회전의 기초입니다.