IP 회전은 요청을 IP 주소 풀을 통해 보내고 소스 IP 전환을 설정된 규칙에 따라 수행하는 관행입니다. 예를 들어, 각 요청마다, 각 세션마다 또는 설정된 간격으로 전환할 수 있습니다. 이렇게 트래픽을 분산시키면 각 IP의 요청량이 낮아져서 IP당 비율 제한 및 차단이 작업에 미치는 영향을 줄일 수 있습니다.

IP 회전은 기술입니다. 회전 프록시는 하나의 게이트웨이 주소 뒤에서 이를 수행하는 서비스이지만, 자신의 코드에서 IP를 회전할 수도 있습니다. 동적 IP를 가진 가정용 연결도 주소를 변경할 수 있지만, 이는 네트워크의 일정에 따라 이루어집니다.

IP 회전 작동 방식

  1. 풀 가져오기: 프록시 IP 목록 또는 제공자의 프록시 풀 앞에 있는 게이트웨이.
  2. 규칙에 따라 IP 선택: 다음 요청 또는 세션을 위한 주소 선택.
  3. 그를 통해 요청 전송: 대상 사이트는 선택된 IP만 봅니다.
  4. 실패하는 IP는 휴식 또는 제거: 차단 응답(예: 403 또는 429)을 받기 시작하면 IP를 사용 중지합니다.

회전 규칙

  • 요청당: 각 요청마다 새로운 IP. 재사용된 연결은 회전 프록시에서 설명한 대로 동일한 IP를 유지할 수 있습니다.
  • 시간 기반: IP가 고정 간격으로 변경됩니다. 예를 들어 몇 분마다.
  • 세션당(스티키): 하나의 IP가 세션 동안 유지되었다가 교체됩니다. 스티키 세션을 참조하십시오.
  • 실패 시: 차단 또는 비율 제한 응답 후에만 IP가 변경됩니다.
  • 순서: 라운드 로빈은 각 IP를 차례로 사용하고, 무작위 선택은 사용 가능한 IP를 선택합니다.

IP 회전 방법

회전 프록시 게이트웨이자신의 코드에서 회전VPN 서버 전환
IP 선택자제공자의 게이트웨이프록시 목록에서 스크립트당신 또는 VPN 앱
연결 방법하나의 호스트 및 포트요청 또는 세션마다 다른 프록시전체 장치에 대해 하나의 터널
동시에 다른 IP예, 연결 또는 세션당예, 요청당아니요, 연결당 하나의 서버

코드에서 회전은 각 요청에서 프록시를 설정하는 것을 의미합니다. 예를 들어, Scrapy는 request.meta['proxy']에서 이를 읽습니다. VPN과 프록시의 차이에 대한 내용은 VPN vs. 프록시를 참조하십시오.

하나의 서브넷 내에서 회전하는 것은 진정한 회전이 아닙니다

사이트는 단일 주소만 계산하지 않으므로 이웃 IP의 풀은 하나의 IP처럼 작동할 수 있습니다:

  • 범위: nginx의 deny 지시문은 CIDR 범위를 수용하므로 하나의 규칙이 전체 서브넷을 차단할 수 있습니다. 예를 들어 /24의 256 주소.
  • 네트워크: Cloudflare의 비율 제한 규칙은 AS 번호별로 요청을 계산할 수 있으므로 동일한 네트워크의 모든 IP가 하나의 카운터에 추가됩니다. ASN을 참조하십시오.
  • IPv6 접두사: RFC 6177은 최종 사이트가 최소한 하나의 /64를 받아야 하며, 대부분의 경우 훨씬 더 많은 것을 받아야 한다고 명시합니다. 사이트는 전체 접두사를 하나의 사용자로 간주할 수 있으므로 그 안에서 주소를 회전하는 것은 큰 변화를 주지 않습니다.

중요한 것은 풀의 범위와 네트워크가 얼마나 다양한지를 나타내는 것이지, 단순히 얼마나 많은 IP를 보유하고 있는지가 아닙니다.

웹 스크래핑에 대한 의미

  • 회전은 속도를 대체하지 않습니다: 사이트가 429로 응답할 때, 새 IP에서 즉시 재시도하는 대신 Retry-After 헤더에 명시된 시간만큼 기다리십시오.
  • 쿠키는 IP보다 오래 지속될 수 있습니다: Cloudflare의 "NAT 지원 IP" 옵션은 세션 쿠키(_cfuvid)로 방문자를 식별할 수 있으므로 동일한 쿠키 항아리를 가진 새 IP는 여전히 동일한 방문자로 간주될 수 있습니다.
  • 작업에 맞는 규칙 설정: 독립적인 페이지에 대해 요청당 회전하고, 로그인 및 체크아웃에는 하나의 IP를 유지하십시오.

왜 회전만으로는 충분하지 않은가

새로운 IP는 사이트가 볼 수 있는 다른 모든 것을 변경하지 않습니다. 사이트는 브라우저 지문을 통해 요청을 연결할 수 있으며, 이는 User-Agent 헤더, 창 크기, 설치된 글꼴 및 그래픽 렌더링 방식과 같은 신호로부터 구축됩니다. 지문은 IP가 숨겨져 있거나 쿠키가 차단된 경우에도 클라이언트를 식별할 수 있습니다.

관련 용어