AI 웹 크롤러는 AI 회사가 웹 콘텐츠를 수집하여 언어 모델 훈련 또는 실시간 검색 기능을 제공하기 위해 운영하는 크롤러로, 전통적인 검색 엔진 크롤러와는 목적이 다릅니다. 예를 들어 OpenAI의 GPTBot과 Anthropic의 ClaudeBot이 있으며, Google은 대신 Google-Extended를 제공하여 퍼블리셔가 Google의 기존 크롤러가 수집한 콘텐츠가 Gemini 모델 훈련에 사용될 수 있는지를 제어할 수 있도록 하는 robots.txt 토큰을 제공합니다.

OpenAI, Anthropic 및 Perplexity는 각각 다양한 작업을 수행하는 여러 봇을 운영하므로 "AI 크롤러"는 훈련 데이터를 수집하는 크롤러, AI 검색을 위한 인덱스를 구축하는 크롤러, 사용자가 질문을 했을 때 페이지를 방문하는 페처를 포함하는 세 가지 종류의 트래픽을 포괄합니다.

세 가지 종류의 AI 봇

  1. 훈련 크롤러: GPTBot 및 ClaudeBot과 같이 모델 훈련에 사용될 수 있는 페이지를 수집합니다.
  2. 검색 크롤러: OAI-SearchBot, Claude-SearchBot 및 PerplexityBot과 같이 AI 검색 답변에 나타날 수 있도록 페이지를 인덱싱합니다. Perplexity는 PerplexityBot이 훈련 데이터를 수집하는 데 사용되지 않는다고 말합니다.
  3. 사용자 트리거 페처: ChatGPT-User, Claude-User 및 Perplexity-User와 같이 누군가가 어시스턴트에게 질문할 때 실시간으로 페이지를 로드합니다.

회사별 AI 봇

회사훈련검색사용자 트리거
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity(없음)PerplexityBotPerplexity-User

Google은 다른 접근 방식을 취합니다. Google-Extended는 별도의 사용자 에이전트가 없으며, 이는 또한 Google 검색 콘텐츠가 프롬프트 시 Gemini 모델에 제공되는 그라운딩을 포함하는 제어 토큰입니다. Google은 이것이 Google 검색의 포함이나 순위에 영향을 미치지 않는다고 말합니다.

훈련 차단이 AI 검색 차단을 의미하지는 않음

각 회사는 이러한 봇을 별도의 스위치로 취급합니다:

  • OpenAI: 각 설정이 독립적이라고 말하며, 사이트는 GPTBot을 허용하지 않으면서 OAI-SearchBot이 ChatGPT 검색에 나타나도록 허용할 수 있습니다.
  • Anthropic: Claude-SearchBot 또는 Claude-User를 차단하면 사이트의 사용자 검색 결과에서 가시성이 줄어들 수 있다고 말합니다.
  • 사용자 트리거 페처는 다릅니다: OpenAI는 robots.txt 규칙이 ChatGPT-User에 적용되지 않을 수 있다고 말하며, Perplexity는 Perplexity-User가 일반적으로 이를 무시한다고 말합니다. 이는 사용자가 페치를 요청했기 때문입니다. Anthropic은 사이트 소유자가 robots.txt를 사용하여 Claude-User를 제어할 수 있다고 말합니다.

AI 인용을 추적하는 SEO 팀의 경우, "모든 AI 봇 차단" 규칙은 사이트를 AI 답변에서 제거할 수 있으며, 훈련 데이터에서만 제거되는 것이 아닙니다.

AI 크롤링의 양

Cloudflare는 2025년 7월에 GPTBot의 AI 전용 크롤러 트래픽 점유율이 2024년 5월에서 2025년 5월 사이에 5%에서 30%로 증가했으며, ClaudeBot은 21%라고 보고했습니다. 같은 날 Cloudflare는 기본적으로 허가 없이 콘텐츠에 접근하는 AI 크롤러를 차단하고 모든 새로운 도메인에 대해 이를 허용할 것인지 질문할 것이라고 발표했습니다.

웹 스크래핑에 대한 의미

  • 봇 이름은 아무것도 증명하지 않음: 클라이언트는 AI 크롤러의 이름을 User-Agent 헤더에 보낼 수 있으므로, 이를 중요하게 여기는 사이트는 문자열 이상의 것을 확인해야 합니다.
  • 자신의 토큰에 대한 규칙 읽기: robots.txt는 각 크롤러에 대해 다른 규칙을 설정할 수 있으므로, AI 봇뿐만 아니라 사용자 에이전트에 적용되는 그룹을 확인해야 합니다.
  • AI 관련 트래픽에 대한 차단 예상: Cloudflare와 같은 네트워크에서 기본 차단이 이루어짐에 따라, AI 프로젝트를 위한 데이터 파이프라인은 거부된 요청을 계획하고 이를 존중해야 합니다.

관련 용어