HTTP 프록시는 클라이언트의 HTTP 요청을 수신하고, 이를 목적지 서버로 전달한 후 응답을 다시 전달하는 서버입니다. HTTPS 사이트의 경우, 클라이언트는 CONNECT 방법을 사용하여 프록스를 통해 터널을 열고, 프록스는 이를 중계하지만 읽을 수는 없습니다.

HTTP 프록시는 통과하는 암호화되지 않은 HTTP 트래픽을 읽고 수정할 수 있으므로, 민감한 데이터는 HTTPS를 통해 전송해야 하며, 이 경우 프록스는 암호화된 트래픽만 터널링합니다.

HTTP 프록스가 요청을 처리하는 방법

  1. 클라이언트는 웹사이트 대신 프록스에 요청을 보냅니다. 일반 HTTP의 경우 전체 대상 URL을 사용하고, HTTPS의 경우 CONNECT host:443 요청을 보냅니다.
  2. 프록스가 로그인을 요구하는 경우, 클라이언트는 Proxy-Authorization 헤더를 추가합니다.
  3. HTTP의 경우, 프록스는 요청을 목적지로 전달합니다. CONNECT의 경우, 2xx 상태로 응답하고 터널 모드로 전환합니다.
  4. 응답은 프록스를 통해 클라이언트로 다시 전송됩니다.

전방, 후방 및 투명 HTTP 프록스

  • 전방 프록스: 클라이언트를 대신하여 작동하며 웹사이트로부터 그들의 신원을 숨길 수 있습니다. 사용자는 브라우징 중 IP 주소를 숨기기 위해 이를 설정할 수 있습니다.
  • 후방 프록스: 웹 서버를 대신하여 작동하며, 로드 밸런싱 및 정적 콘텐츠 캐싱과 같은 작업을 처리합니다.
  • 투명(가로채기) 프록스: 네트워크 경로에 배치되어 클라이언트가 이를 구성하지 않으며, 그 존재를 알지 못할 수 있습니다.

HTTP 프록스 vs. SOCKS5 프록스

HTTP 프록스SOCKS5 프록스
이해하는 것HTTP 요청 및 응답전송 계층 이상의 것은 이해하지 못하며, HTTP로 읽지 않고 데이터를 중계합니다.
전송하는 트래픽웹 트래픽, HTTPS는 CONNECT 터널을 통해 전달됩니다.SOCKS를 지원하는 모든 앱에 대해 TCP 및 UDP를 전송합니다.
Via와 같은 헤더를 추가할 수 있음예아니요
curl에서프록스에 스킴이 없는 경우 기본 유형socks5:// 또는 socks5h:// 프록시 URL로 설정합니다.

캐싱

일부 HTTP 프록스는 네트워크를 떠나는 트래픽을 줄이기 위해 응답을 저장합니다. MDN은 이를 프록시 캐시라고 부르며, 일종의 공유 캐시입니다. 사이트는 개인화된 응답을 Cache-Control: private으로 표시하여 공유 캐시가 이를 저장하지 않도록 합니다. HTTPS 응답은 일반적으로 터널을 통해 프록스를 통과하므로, 많은 경우 프록스가 이를 캐시할 수 없습니다.

웹 스크래핑에 대한 의미

  • HTTP는 종종 기본값입니다: curl은 스킴 없이 제공된 프록스를 proxy.example.com:8080로 HTTP 프록스로 간주합니다. 클라이언트가 이를 저장하는 위치에 대한 프록시 설정을 참조하십시오.
  • 헤더가 프록스를 드러낼 수 있습니다: 프록스는 Via 헤더를 추가할 수 있으며, 일부는 원래 클라이언트 IP와 함께 X-Forwarded-For를 추가합니다. 주소를 숨기기 위해 의존하기 전에 프록스가 무엇을 전송하는지 확인하십시오.

관련 용어