Crawler web AI adalah crawler yang dioperasikan oleh perusahaan AI untuk mengumpulkan konten web untuk melatih model bahasa atau mendukung pengambilan data secara real-time, berbeda dari crawler mesin pencari tradisional dalam tujuannya. Contohnya termasuk GPTBot dari OpenAI dan ClaudeBot dari Anthropic; Google sebaliknya menawarkan Google-Extended, sebuah token robots.txt yang memungkinkan penerbit mengontrol apakah konten yang dikumpulkan oleh crawler Google yang ada dapat digunakan untuk melatih model Gemini.

OpenAI, Anthropic, dan Perplexity masing-masing menjalankan beberapa bot dengan tugas yang berbeda, sehingga "crawler AI" mencakup tiga jenis lalu lintas: crawler yang mengumpulkan data pelatihan, crawler yang membangun indeks untuk pencarian AI, dan pengambil yang mengunjungi halaman karena pengguna mengajukan pertanyaan.

Tiga Jenis Bot AI

  1. Crawler pelatihan: mengumpulkan halaman yang dapat digunakan untuk melatih model, seperti GPTBot dan ClaudeBot.
  2. Crawler pencarian: mengindeks halaman sehingga dapat muncul dalam jawaban pencarian AI, seperti OAI-SearchBot, Claude-SearchBot, dan PerplexityBot. Perplexity mengatakan PerplexityBot tidak digunakan untuk mengumpulkan data pelatihan.
  3. Pengambil yang dipicu pengguna: memuat halaman secara real-time ketika seseorang mengajukan pertanyaan kepada asisten, seperti ChatGPT-User, Claude-User, dan Perplexity-User.

Bot AI menurut Perusahaan

PerusahaanPelatihanPencarianDipicu pengguna
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity(tidak ada yang terdaftar)PerplexityBotPerplexity-User

Google mengambil pendekatan yang berbeda. Google-Extended tidak memiliki agen pengguna terpisah: ini adalah token kontrol yang juga mencakup grounding, di mana konten Pencarian Google diberikan kepada model Gemini pada saat permintaan. Google mengatakan ini tidak mempengaruhi inklusi atau peringkat dalam Pencarian Google.

Memblokir Pelatihan Tidak Harus Memblokir Pencarian AI

Setiap perusahaan memperlakukan bot ini sebagai saklar terpisah:

  • OpenAI: mengatakan setiap pengaturan adalah independen, sehingga situs dapat mengizinkan OAI-SearchBot muncul dalam pencarian ChatGPT sambil melarang GPTBot.
  • Anthropic: mengatakan memblokir Claude-SearchBot atau Claude-User dapat mengurangi visibilitas situs dalam hasil pencarian pengguna.
  • Pengambil yang dipicu pengguna berbeda: OpenAI mengatakan aturan robots.txt mungkin tidak berlaku untuk ChatGPT-User, dan Perplexity mengatakan Perplexity-User umumnya mengabaikannya, karena pengguna meminta pengambilan tersebut. Anthropic mengatakan pemilik situs dapat menggunakan robots.txt untuk mengontrol Claude-User.

Untuk tim SEO yang melacak kutipan AI, aturan "blok semua bot AI" secara umum dapat menghapus situs dari jawaban AI, tidak hanya dari data pelatihan.

Seberapa Banyak Crawling AI yang Ada

Cloudflare melaporkan pada Juli 2025 bahwa pangsa lalu lintas crawler hanya AI dari GPTBot meningkat dari 5% menjadi 30% antara Mei 2024 dan Mei 2025, dengan ClaudeBot di 21%. Pada hari yang sama, Cloudflare mengumumkan bahwa mereka akan memblokir crawler AI yang mengakses konten tanpa izin secara default, dan menanyakan setiap domain baru apakah akan mengizinkan mereka.

Apa Artinya untuk Web Scraping

  • Nama bot tidak membuktikan apa-apa: klien mana pun dapat mengirimkan nama crawler AI dalam header User-Agent, jadi situs yang peduli memeriksa lebih dari sekadar string tersebut.
  • Baca aturan untuk token Anda sendiri: robots.txt dapat menetapkan aturan yang berbeda untuk setiap crawler, jadi periksa grup yang berlaku untuk agen pengguna Anda, bukan hanya bot AI.
  • Harapkan lebih banyak pemblokiran pada lalu lintas terkait AI: dengan pemblokiran default di jaringan seperti Cloudflare, saluran data untuk proyek AI harus merencanakan permintaan yang ditolak dan menghormatinya.

Istilah Terkait