เว็บครอว์เลอร์ AI คือครอว์เลอร์ที่ดำเนินการโดยบริษัท AI เพื่อรวบรวมเนื้อหาเว็บสำหรับ การฝึกโมเดลภาษา หรือการดึงข้อมูลแบบเรียลไทม์ ซึ่งแตกต่างจากครอว์เลอร์ของเครื่องมือค้นหาทั่วไปในด้านวัตถุประสงค์ ตัวอย่างเช่น GPTBot ของ OpenAI และ ClaudeBot ของ Anthropic; Google เสนอ Google-Extended ซึ่งเป็นโทเค็น robots.txt ที่ช่วยให้ผู้เผยแพร่ควบคุมว่าเนื้อหาที่ครอว์เลอร์ของ Google เก็บรวบรวมอาจถูกใช้เพื่อฝึกโมเดล Gemini หรือไม่
OpenAI, Anthropic และ Perplexity ต่างก็มีบอทหลายตัวที่ทำงานที่แตกต่างกัน ดังนั้น "AI crawler" จึงครอบคลุมการจราจรสามประเภท: ครอว์เลอร์ที่เก็บข้อมูลการฝึกอบรม, ครอว์เลอร์ที่สร้างดัชนีสำหรับการค้นหา AI, และผู้ดึงข้อมูลที่เยี่ยมชมหน้าเว็บเพราะผู้ใช้ถามคำถาม
บอท AI สามประเภท
- ครอว์เลอร์การฝึกอบรม: เก็บหน้าเว็บที่อาจใช้ในการฝึกโมเดล เช่น GPTBot และ ClaudeBot.
- ครอว์เลอร์การค้นหา: สร้างดัชนีหน้าเว็บเพื่อให้ปรากฏในคำตอบการค้นหา AI เช่น OAI-SearchBot, Claude-SearchBot และ PerplexityBot. Perplexity กล่าวว่าบอท PerplexityBot ไม่ได้ใช้เพื่อเก็บข้อมูลการฝึกอบรม.
- ผู้ดึงข้อมูลที่กระตุ้นโดยผู้ใช้: โหลดหน้าเว็บแบบเรียลไทม์เมื่อมีคนถามผู้ช่วยบางอย่าง เช่น ChatGPT-User, Claude-User และ Perplexity-User.
บอท AI ตามบริษัท
| บริษัท | การฝึกอบรม | การค้นหา | กระตุ้นโดยผู้ใช้ |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | (ไม่มีที่ระบุ) | PerplexityBot | Perplexity-User |
Google ใช้แนวทางที่แตกต่าง Google-Extended ไม่มีตัวแทนผู้ใช้แยกต่างหาก: มันเป็นโทเค็นควบคุมที่ครอบคลุมการสร้างพื้นฐาน ซึ่งเนื้อหาการค้นหาของ Google จะถูกส่งให้กับโมเดล Gemini ในเวลาที่มีการเรียกใช้ Google กล่าวว่ามันไม่ส่งผลต่อการรวมเข้าหรือการจัดอันดับใน Google Search.
การบล็อกการฝึกอบรมไม่จำเป็นต้องบล็อกการค้นหา AI
แต่ละบริษัทจัดการกับบอทเหล่านี้เป็นสวิตช์แยกต่างหาก:
- OpenAI: กล่าวว่าการตั้งค่าแต่ละอย่างเป็นอิสระ ดังนั้นเว็บไซต์สามารถอนุญาตให้ OAI-SearchBot ปรากฏในผลการค้นหาของ ChatGPT ในขณะที่ไม่อนุญาตให้ GPTBot.
- Anthropic: กล่าวว่าการบล็อก Claude-SearchBot หรือ Claude-User อาจลดความสามารถในการมองเห็นของเว็บไซต์ในผลการค้นหาของผู้ใช้.
- ผู้ดึงข้อมูลที่กระตุ้นโดยผู้ใช้แตกต่างกัน: OpenAI กล่าวว่ากฎ robots.txt อาจไม่ใช้กับ ChatGPT-User และ Perplexity กล่าวว่าผู้ใช้ Perplexity-User โดยทั่วไปจะไม่สนใจพวกเขา เพราะผู้ใช้ได้ขอให้ดึงข้อมูล. Anthropic กล่าวว่าผู้ดูแลเว็บไซต์สามารถใช้ robots.txt เพื่อควบคุม Claude-User.
สำหรับทีม SEO ที่ติดตามการอ้างอิง AI กฎ "บล็อกบอท AI ทั้งหมด" อาจทำให้เว็บไซต์ถูกลบออกจากคำตอบ AI ไม่เพียงแต่จากข้อมูลการฝึกอบรม.
ปริมาณการครอว์ลิ่ง AI มีมากแค่ไหน
Cloudflare รายงานในเดือนกรกฎาคม 2025 ว่าสัดส่วนการจราจรของครอว์เลอร์ AI เพียงอย่างเดียวของ GPTBot เพิ่มขึ้นจาก 5% เป็น 30% ระหว่างเดือนพฤษภาคม 2024 ถึงพฤษภาคม 2025 โดย ClaudeBot อยู่ที่ 21%. ในวันเดียวกัน Cloudflare ประกาศว่าจะบล็อกครอว์เลอร์ AI ที่เข้าถึงเนื้อหาโดยไม่ได้รับอนุญาตโดยค่าเริ่มต้น และจะถามทุกโดเมนใหม่ว่าอนุญาตให้พวกเขาหรือไม่.
สิ่งที่หมายถึงสำหรับการดึงข้อมูลเว็บ
- ชื่อบอทไม่พิสูจน์อะไร: ลูกค้าทุกคนสามารถส่งชื่อครอว์เลอร์ AI ใน User-Agent header ดังนั้นเว็บไซต์ที่ใส่ใจจะต้องตรวจสอบมากกว่าข้อความ.
- อ่านกฎสำหรับโทเค็นของคุณเอง: robots.txt สามารถตั้งค่ากฎที่แตกต่างกันสำหรับแต่ละครอว์เลอร์ ดังนั้นตรวจสอบกลุ่มที่ใช้กับตัวแทนผู้ใช้ของคุณ ไม่ใช่แค่บอท AI.
- คาดหวังการบล็อกการจราจรที่เกี่ยวข้องกับ AI มากขึ้น: ด้วยการบล็อกค่าเริ่มต้นในเครือข่ายเช่น Cloudflare ท่อข้อมูลสำหรับโครงการ AI ควรวางแผนสำหรับคำขอที่ถูกปฏิเสธและเคารพพวกเขา.