Penyemak web AI adalah penyemak yang dikendalikan oleh syarikat AI untuk mengumpul kandungan web untuk melatih model bahasa atau menggerakkan pengambilan masa nyata, berbeza daripada penyemak enjin carian tradisional dari segi tujuan. Contohnya termasuk GPTBot dari OpenAI dan ClaudeBot dari Anthropic; Google sebaliknya menawarkan Google-Extended, token robots.txt yang membolehkan penerbit mengawal sama ada kandungan yang dikumpul oleh penyemak sedia ada Google boleh digunakan untuk melatih model Gemini.
OpenAI, Anthropic dan Perplexity masing-masing menjalankan beberapa bot dengan tugas yang berbeza, jadi "penyemak AI" merangkumi tiga jenis trafik: penyemak yang mengumpul data latihan, penyemak yang membina indeks untuk carian AI, dan pengambil yang melawat halaman kerana pengguna mengajukan soalan.
Tiga Jenis Bot AI
- Penyemak latihan: mengumpul halaman yang mungkin digunakan untuk melatih model, seperti GPTBot dan ClaudeBot.
- Penyemak carian: mengindeks halaman supaya ia boleh muncul dalam jawapan carian AI, seperti OAI-SearchBot, Claude-SearchBot dan PerplexityBot. Perplexity menyatakan PerplexityBot tidak digunakan untuk mengumpul data latihan.
- Pengambil yang dicetuskan pengguna: memuatkan halaman secara masa nyata apabila seseorang bertanya kepada pembantu, seperti ChatGPT-User, Claude-User dan Perplexity-User.
Bot AI mengikut Syarikat
| Syarikat | Latihan | Carian | Dicituskan Pengguna |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | (tiada yang disenaraikan) | PerplexityBot | Perplexity-User |
Google mengambil pendekatan yang berbeza. Google-Extended tidak mempunyai agen pengguna yang berasingan: ia adalah token kawalan yang juga merangkumi pengukuhan, di mana kandungan Carian Google diberikan kepada model Gemini pada masa permintaan. Google menyatakan ia tidak mempengaruhi penyertaan atau penarafan dalam Carian Google.
Menghalang Latihan Tidak Perlu Menghalang Carian AI
Setiap syarikat menganggap bot ini sebagai suis yang berasingan:
- OpenAI: menyatakan setiap tetapan adalah bebas, jadi sebuah laman boleh membenarkan OAI-SearchBot muncul dalam carian ChatGPT sambil menghalang GPTBot.
- Anthropic: menyatakan menghalang Claude-SearchBot atau Claude-User mungkin mengurangkan keterlihatan laman dalam hasil carian pengguna.
- Pengambil yang dicetuskan pengguna berbeza: OpenAI menyatakan peraturan robots.txt mungkin tidak terpakai kepada ChatGPT-User, dan Perplexity menyatakan Perplexity-User secara amnya mengabaikannya, kerana pengguna meminta pengambilan. Anthropic menyatakan pemilik laman boleh menggunakan robots.txt untuk mengawal Claude-User.
Bagi pasukan SEO yang menjejak petikan AI, peraturan "halang semua bot AI" secara menyeluruh boleh mengeluarkan laman dari jawapan AI, bukan hanya dari data latihan.
Seberapa Banyak Pengambilan AI Terdapat
Cloudflare melaporkan pada Julai 2025 bahawa bahagian trafik penyemak AI sahaja oleh GPTBot meningkat dari 5% kepada 30% antara Mei 2024 dan Mei 2025, dengan ClaudeBot pada 21%. Pada hari yang sama, Cloudflare mengumumkan bahawa ia akan menghalang penyemak AI yang mengakses kandungan tanpa kebenaran secara lalai, dan bertanya kepada setiap domain baru sama ada untuk membenarkan mereka.
Apa Maknanya untuk Pengikisan Web
- Nama bot tidak membuktikan apa-apa: mana-mana klien boleh menghantar nama penyemak AI dalam header User-Agent, jadi laman yang mengambil berat perlu memeriksa lebih daripada hanya rentetan tersebut.
- Baca peraturan untuk token anda sendiri: robots.txt boleh menetapkan peraturan yang berbeza untuk setiap penyemak, jadi semak kumpulan yang terpakai untuk agen pengguna anda, bukan hanya bot AI.
- Jangkakan lebih banyak sekatan pada trafik berkaitan AI: dengan sekatan lalai pada rangkaian seperti Cloudflare, saluran data untuk projek AI perlu merancang untuk permintaan yang ditolak dan menghormatinya.