User-Agent 회전은 요청 간에 다양한 실제 User-Agent 문자열을 순환시키는 관행으로, 동일한 문자열을 반복해서 보내는 대신 자동화된 트래픽이 실제 방문자의 다양한 인구처럼 보이도록 합니다.
이것은 브라우저, 운영 체제 및 버전을 명시하는 요청 헤더 하나를 변경합니다. IP 주소, TLS 핸드셰이크 또는 클라이언트가 보내는 다른 HTTP 헤더는 변경하지 않으므로, 이러한 요소들이 동일한 이야기를 전달할 때만 작동합니다.
User-Agent 회전 작동 방식
- 풀 만들기: 실제 브라우저에서 현재 문자열을 수집하고, 보이고 싶은 장치에 맞춥니다.
- 하나 선택하기: 요청당 문자열을 선택하거나, 세션당 하나를 유지하여 단일 방문자가 페이지 간에 브라우저를 전환하지 않도록 합니다.
- 나머지 일치시키기: 브라우저가 보내는 다른 헤더를 동일한 형식으로 전송합니다.
- 풀 새로 고침: 브라우저는 자주 업데이트되며, 오래된 버전 번호는 눈에 띕니다.
기본 User-Agent가 두드러지는 이유
일반적인 HTTP 도구는 헤더를 변경하지 않으면 자신을 알립니다. curl은 curl/과 그 버전을 전송하며, 예를 들어 curl/7.54.1와 같습니다. Scrapy의 기본값은 Scrapy/VERSION (+https://scrapy.org)입니다. 서버는 때때로 이 헤더에 따라 응답 방식을 결정합니다.
현대 Chrome User-Agent의 모습
Chrome은 이제 축소된 User-Agent 문자열을 전송합니다. User-Agent 축소는 정확한 OS 버전, 장치 모델 및 마이너 브라우저 버전을 제거합니다. 주요 버전은 유지되며, 마이너 숫자는 항상 0.0.0입니다.
- 이전:
Mozilla/5.0 (Linux; Android 16; Pixel 9) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/143.0.12.45 Mobile Safari/537.36 - 이후:
Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/143.0.0.0 Mobile Safari/537.36
플랫폼 부분도 고정되어 있습니다: Windows에서는 Windows NT 10.0; Win64; x64, macOS에서는 Macintosh; Intel Mac OS X 10_15_7, Android에서는 Android 10; K입니다. Chrome은 Chrome 101에서 0.0.0 마이너 버전을 배포하기 시작했으며, 전체 문자열을 유지할 수 있게 해주는 시험은 2023년 9월에 종료되었습니다. 실제 빌드 번호가 있는 Chrome 문자열로 가득 찬 회전 목록이나 정확한 Android 모델은 더 이상 존재하지 않는 브라우저를 설명합니다.
다른 신호 일관성 유지
- 클라이언트 힌트: Chrome은 HTTPS 페이지에서 기본적으로
Sec-CH-UA,Sec-CH-UA-Mobile및Sec-CH-UA-Platform을 전송합니다. 이들은 브랜드, 주요 버전, 플랫폼 및 모바일 플래그를 반복하므로 User-Agent와 일치해야 합니다. MDN은 이러한 헤더가 일부 널리 사용되는 브라우저에서는 작동하지 않으므로, 그런 브라우저 중 하나라고 주장하는 문자열은 이를 포함하지 않아야 한다고 언급합니다. - 검증 가능한 신호: OWASP는 클라이언트 힌트를 TLS 지문에 대해 확인할 수 있는 선언된 신호로 나열합니다.
- TLS 핸드셰이크: 안티봇 시스템은 User-Agent 문자열이 변경하지 않는 신호를 여전히 사용할 수 있습니다. 예를 들어 TLS 지문 (JA3 또는 JA4)는 TLS 연결을 시작하는 방식으로 클라이언트를 식별합니다.
회전이 robots.txt 일치 이름을 떨어뜨림
robots.txt 규칙은 ExampleBot와 같은 크롤러의 제품 토큰에 따라 그룹화됩니다. RFC 9309는 이 토큰이 크롤러가 전송하는 User-Agent에 나타나야 한다고 명시하며, Mozilla/5.0 (compatible; ExampleBot/0.1; https://www.example.com/bot.html)와 같습니다. 브라우저 문자열을 순환하는 봇은 해당 토큰을 떨어뜨리므로 사이트는 어떤 봇이 방문하고 있는지 알 수 없거나 해당 봇에 대해 작성된 규칙과 트래픽을 확인할 수 없습니다. 회전은 적용되는 규칙을 변경하지도 않습니다: 크롤러의 자체 토큰이 그룹을 선택하거나, 이름이 없는 경우 user-agent: * 그룹을 선택합니다.
사이트는 또한 헤더만으로 신뢰하지 않습니다. Google은 Googlebot의 사용자 에이전트가 종종 스푸핑된다고 말하며, 크롤러의 IP를 역 DNS 조회 또는 게시된 IP 범위와 비교하여 확인할 것을 권장합니다.
웹 스크래핑에 대한 의미
- 현재 문자열 사용: Chrome의 경우, 이는
0.0.0마이너 버전과 고정된 플랫폼 값을 포함한 축소된 형식을 의미합니다. - 전체 프로필 회전: User-Agent와 함께 Client Hints 및 기타 헤더를 변경하고, 각 프로필을 세션당 하나의 IP와 연결하여 혼합하지 않습니다.
- 식별 방법 결정: 이름이 지정된 robots.txt 규칙을 따라야 하는 크롤러는 User-Agent에 안정적인 제품 토큰이 필요합니다. 이를 회전한다고 해서 적용되는 규칙이 변경되지는 않습니다.