회전 프록시는 요청마다 자동으로 나가는 IP 주소를 변경하는 프록시 서비스로, 각 요청, 새로운 연결 또는 시간 창마다 풀에서 새로운 IP를 가져옵니다.

하나의 게이트웨이 주소에 연결하면, 제공자가 대상 사이트가 보는 종료 IP를 선택합니다. "회전"은 IP가 변경되는 방식을 설명하며, IP의 출처는 아닙니다: 풀은 주거용, 데이터 센터, 모바일 또는 ISP 주소를 포함할 수 있습니다.

회전 프록시 작동 방식

  1. 클라이언트가 하나의 게이트웨이 호스트와 프록시 포트에 트래픽을 전송합니다. 일반적으로 사용자 이름과 비밀번호가 포함됩니다.
  2. 게이트웨이는 프록시 풀에서 종료 IP를 선택하고 해당 주소에서 대상 사이트에 연결합니다.
  3. 대상은 오직 종료 IP만을 봅니다. 다음 요청, 연결 또는 시간 창에서 게이트웨이는 다른 IP를 선택할 수 있습니다.

회전 방법

  • 요청당 또는 연결당: 각 새로운 요청 또는 연결은 새로운 종료 IP를 받습니다. 이는 상태 비저장 페이지 가져오기에 적합합니다.
  • 시간 기반 회전: 하나의 IP가 몇 분과 같은 설정된 기간 동안 유지되다가 교체됩니다.
  • 스티키 세션: 스티키 세션은 전체 세션 동안 하나의 IP를 유지하므로 로그인, 장바구니 및 다단계 양식이 계속 작동합니다.

요청당은 종종 연결당을 의미합니다

프록시를 통한 HTTPS 트래픽은 HTTP CONNECT 방법으로 열린 터널 내에서 실행됩니다. 그런 다음 프록시는 터널이 닫힐 때까지 양방향으로 데이터를 맹목적으로 전달하므로, 하나의 열린 터널을 통해 전송된 모든 요청은 동일한 연결을 통해 사이트에 도달하고 동일한 종료 IP를 표시합니다.

대부분의 HTTP 클라이언트는 또한 연결을 열어 두고 나중의 요청에 재사용하는데, 이를 지속적 또는 유지 활성 연결이라고 합니다. HTTP/2는 더 나아가 단일 연결을 통해 여러 요청을 다중화합니다. 스크래퍼가 연결을 재사용하면 여러 요청이 요청당 계획에서도 하나의 IP를 공유할 수 있습니다. 매번 새로운 IP를 얻으려면 각 요청 후에 연결을 닫거나 HTTP 클라이언트에서 연결 재사용을 끄십시오.

회전 프록시 vs. 정적 프록시

회전 프록시정적 프록시
종료 IP요청, 연결 또는 시간 창마다 변경동일하게 유지
세션 연속성스티키 세션 필요내장됨
IP당 요청 부하풀에 분산하나의 IP에 모두 집중
일반적인 적합성대규모 크롤링, 순위 추적, 여러 페이지의 가격 확인로그인, 계정 작업, IP 허용 목록

고정 IP가 더 나은 선택인 경우 정적 프록시를 참조하십시오.

회전 프록시의 유형

회전은 모든 IP 유형에서 실행될 수 있습니다:

  • 주거용: 소비자 ISP에 의해 할당된 가정 IP.
  • 데이터 센터: 호스팅 제공업체의 IP, 호스팅 ASN 아래에 그룹화됨.
  • 모바일: 많은 전화 사용자가 자주 공유하는 통신사 IP.
  • ISP: 소비자 ISP에 등록되었지만 데이터 센터에 호스팅된 IP.

웹 스크래핑에 대한 의미

  • 회전은 IP당 수를 분산시킵니다: Cloudflare의 무료 및 프로 요금제에서 요금 제한 규칙은 IP별로 요청을 계산합니다. 풀에 요청을 분산시키면 각 IP의 수가 낮아집니다. 요금 제한을 참조하십시오.
  • 작업에 맞는 방법을 선택하십시오: 독립적인 페이지에 대해 요청당 회전을 사용하십시오. 예를 들어 순위 추적을 위한 검색 결과와 같은 경우입니다. 로그인이나 세션 쿠키에 의존하는 모든 것에는 스티키 세션을 사용하십시오.

회전 프록시의 한계

회전은 IP만 변경합니다. 쿠키, 계정 로그인 및 브라우저 지문 인식은 여전히 사용자를 식별할 수 있습니다. W3C의 지문 인식 가이드라인에 따르면, 네트워크 경로를 변경하는 Tor 사용자도 브라우저 지문 인식을 통해 연결될 수 있으며, VPN을 사용해도 이를 방지할 수 없습니다.

  • 요금 제한은 항상 IP별이 아닙니다: Cloudflare의 엔터프라이즈 플랜에서 고급 요금 제한을 사용하면, 규칙이 IP뿐만 아니라 헤더, 쿠키 또는 쿼리 매개변수 값, ASN, 국가, JA3/JA4 TLS 지문 또는 JWT 클레임에 따라 요청을 계산할 수 있습니다. 새로운 IP는 이러한 기준으로 설정된 제한을 재설정하지 않습니다.
  • 세션 중간에 IP 변경 시 세션이 종료될 수 있습니다: OWASP는 세션을 IP 주소와 같은 클라이언트 속성에 바인딩할 것을 권장하며, 설정된 세션 중에 변경이 발생하면 가능한 해킹 징후로 간주하여 경고하거나 종료해야 합니다. 스티키 세션은 설정된 기간 동안 하나의 IP를 유지하여 이를 피합니다.
  • 추가 암호화 없음: 회전은 트래픽을 자체적으로 암호화하지 않습니다. HTTPS 사이트는 프록시가 터널의 바이트만 중계하기 때문에 끝에서 끝까지 암호화된 상태를 유지합니다.

관련 용어