เว็บครอว์เลอร์ AI คือครอว์เลอร์ที่ดำเนินการโดยบริษัท AI เพื่อรวบรวมเนื้อหาเว็บสำหรับ การฝึกโมเดลภาษา หรือการดึงข้อมูลแบบเรียลไทม์ ซึ่งแตกต่างจากครอว์เลอร์ของเครื่องมือค้นหาทั่วไปในด้านวัตถุประสงค์ ตัวอย่างเช่น GPTBot ของ OpenAI และ ClaudeBot ของ Anthropic; Google เสนอ Google-Extended ซึ่งเป็นโทเค็น robots.txt ที่ช่วยให้ผู้เผยแพร่ควบคุมว่าเนื้อหาที่ครอว์เลอร์ของ Google เก็บรวบรวมอาจถูกใช้เพื่อฝึกโมเดล Gemini หรือไม่

OpenAI, Anthropic และ Perplexity ต่างก็มีบอทหลายตัวที่ทำงานที่แตกต่างกัน ดังนั้น "AI crawler" จึงครอบคลุมการจราจรสามประเภท: ครอว์เลอร์ที่เก็บข้อมูลการฝึกอบรม, ครอว์เลอร์ที่สร้างดัชนีสำหรับการค้นหา AI, และผู้ดึงข้อมูลที่เยี่ยมชมหน้าเว็บเพราะผู้ใช้ถามคำถาม

บอท AI สามประเภท

  1. ครอว์เลอร์การฝึกอบรม: เก็บหน้าเว็บที่อาจใช้ในการฝึกโมเดล เช่น GPTBot และ ClaudeBot.
  2. ครอว์เลอร์การค้นหา: สร้างดัชนีหน้าเว็บเพื่อให้ปรากฏในคำตอบการค้นหา AI เช่น OAI-SearchBot, Claude-SearchBot และ PerplexityBot. Perplexity กล่าวว่าบอท PerplexityBot ไม่ได้ใช้เพื่อเก็บข้อมูลการฝึกอบรม.
  3. ผู้ดึงข้อมูลที่กระตุ้นโดยผู้ใช้: โหลดหน้าเว็บแบบเรียลไทม์เมื่อมีคนถามผู้ช่วยบางอย่าง เช่น ChatGPT-User, Claude-User และ Perplexity-User.

บอท AI ตามบริษัท

บริษัทการฝึกอบรมการค้นหากระตุ้นโดยผู้ใช้
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity(ไม่มีที่ระบุ)PerplexityBotPerplexity-User

Google ใช้แนวทางที่แตกต่าง Google-Extended ไม่มีตัวแทนผู้ใช้แยกต่างหาก: มันเป็นโทเค็นควบคุมที่ครอบคลุมการสร้างพื้นฐาน ซึ่งเนื้อหาการค้นหาของ Google จะถูกส่งให้กับโมเดล Gemini ในเวลาที่มีการเรียกใช้ Google กล่าวว่ามันไม่ส่งผลต่อการรวมเข้าหรือการจัดอันดับใน Google Search.

การบล็อกการฝึกอบรมไม่จำเป็นต้องบล็อกการค้นหา AI

แต่ละบริษัทจัดการกับบอทเหล่านี้เป็นสวิตช์แยกต่างหาก:

  • OpenAI: กล่าวว่าการตั้งค่าแต่ละอย่างเป็นอิสระ ดังนั้นเว็บไซต์สามารถอนุญาตให้ OAI-SearchBot ปรากฏในผลการค้นหาของ ChatGPT ในขณะที่ไม่อนุญาตให้ GPTBot.
  • Anthropic: กล่าวว่าการบล็อก Claude-SearchBot หรือ Claude-User อาจลดความสามารถในการมองเห็นของเว็บไซต์ในผลการค้นหาของผู้ใช้.
  • ผู้ดึงข้อมูลที่กระตุ้นโดยผู้ใช้แตกต่างกัน: OpenAI กล่าวว่ากฎ robots.txt อาจไม่ใช้กับ ChatGPT-User และ Perplexity กล่าวว่าผู้ใช้ Perplexity-User โดยทั่วไปจะไม่สนใจพวกเขา เพราะผู้ใช้ได้ขอให้ดึงข้อมูล. Anthropic กล่าวว่าผู้ดูแลเว็บไซต์สามารถใช้ robots.txt เพื่อควบคุม Claude-User.

สำหรับทีม SEO ที่ติดตามการอ้างอิง AI กฎ "บล็อกบอท AI ทั้งหมด" อาจทำให้เว็บไซต์ถูกลบออกจากคำตอบ AI ไม่เพียงแต่จากข้อมูลการฝึกอบรม.

ปริมาณการครอว์ลิ่ง AI มีมากแค่ไหน

Cloudflare รายงานในเดือนกรกฎาคม 2025 ว่าสัดส่วนการจราจรของครอว์เลอร์ AI เพียงอย่างเดียวของ GPTBot เพิ่มขึ้นจาก 5% เป็น 30% ระหว่างเดือนพฤษภาคม 2024 ถึงพฤษภาคม 2025 โดย ClaudeBot อยู่ที่ 21%. ในวันเดียวกัน Cloudflare ประกาศว่าจะบล็อกครอว์เลอร์ AI ที่เข้าถึงเนื้อหาโดยไม่ได้รับอนุญาตโดยค่าเริ่มต้น และจะถามทุกโดเมนใหม่ว่าอนุญาตให้พวกเขาหรือไม่.

สิ่งที่หมายถึงสำหรับการดึงข้อมูลเว็บ

  • ชื่อบอทไม่พิสูจน์อะไร: ลูกค้าทุกคนสามารถส่งชื่อครอว์เลอร์ AI ใน User-Agent header ดังนั้นเว็บไซต์ที่ใส่ใจจะต้องตรวจสอบมากกว่าข้อความ.
  • อ่านกฎสำหรับโทเค็นของคุณเอง: robots.txt สามารถตั้งค่ากฎที่แตกต่างกันสำหรับแต่ละครอว์เลอร์ ดังนั้นตรวจสอบกลุ่มที่ใช้กับตัวแทนผู้ใช้ของคุณ ไม่ใช่แค่บอท AI.
  • คาดหวังการบล็อกการจราจรที่เกี่ยวข้องกับ AI มากขึ้น: ด้วยการบล็อกค่าเริ่มต้นในเครือข่ายเช่น Cloudflare ท่อข้อมูลสำหรับโครงการ AI ควรวางแผนสำหรับคำขอที่ถูกปฏิเสธและเคารพพวกเขา.

ข้อกำหนดที่เกี่ยวข้อง