Một trình thu thập web AI là một trình thu thập được điều hành bởi một công ty AI để thu thập nội dung web cho đào tạo các mô hình ngôn ngữ hoặc cung cấp truy xuất thời gian thực, khác với các trình thu thập của công cụ tìm kiếm truyền thống về mục đích. Ví dụ bao gồm GPTBot của OpenAI và ClaudeBot của Anthropic; Google thay vào đó cung cấp Google-Extended, một mã thông báo robots.txt cho phép các nhà xuất bản kiểm soát liệu nội dung mà các trình thu thập hiện có của Google thu thập có thể được sử dụng để đào tạo các mô hình Gemini hay không.

OpenAI, Anthropic và Perplexity mỗi công ty điều hành một số bot với các công việc khác nhau, vì vậy "trình thu thập AI" bao gồm ba loại lưu lượng: các trình thu thập thu thập dữ liệu đào tạo, các trình thu thập xây dựng chỉ mục cho tìm kiếm AI, và các trình thu thập truy cập một trang vì một người dùng đã đặt câu hỏi.

Ba Loại Bot AI

  1. Trình thu thập đào tạo: thu thập các trang có thể được sử dụng để đào tạo các mô hình, chẳng hạn như GPTBot và ClaudeBot.
  2. Trình thu thập tìm kiếm: lập chỉ mục các trang để chúng có thể xuất hiện trong các câu trả lời tìm kiếm AI, chẳng hạn như OAI-SearchBot, Claude-SearchBot và PerplexityBot. Perplexity cho biết PerplexityBot không được sử dụng để thu thập dữ liệu đào tạo.
  3. Trình thu thập kích hoạt bởi người dùng: tải một trang trong thời gian thực khi ai đó hỏi trợ lý điều gì, chẳng hạn như ChatGPT-User, Claude-User và Perplexity-User.

Bot AI Theo Công Ty

Công tyĐào tạoTìm kiếmKích hoạt bởi người dùng
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity(không có danh sách)PerplexityBotPerplexity-User

Google có cách tiếp cận khác. Google-Extended không có tác nhân người dùng riêng biệt: nó là một mã thông báo kiểm soát cũng bao gồm việc định hướng, nơi nội dung Tìm kiếm của Google được cung cấp cho các mô hình Gemini tại thời điểm nhắc nhở. Google cho biết điều này không ảnh hưởng đến việc bao gồm hoặc xếp hạng trong Tìm kiếm của Google.

Chặn Đào Tạo Không Phải Chặn Tìm Kiếm AI

Mỗi công ty coi những bot này như những công tắc riêng biệt:

  • OpenAI: cho biết mỗi cài đặt là độc lập, vì vậy một trang web có thể cho phép OAI-SearchBot xuất hiện trong tìm kiếm ChatGPT trong khi không cho phép GPTBot.
  • Anthropic: cho biết việc chặn Claude-SearchBot hoặc Claude-User có thể giảm khả năng hiển thị của một trang trong kết quả tìm kiếm của người dùng.
  • Các trình thu thập kích hoạt bởi người dùng khác nhau: OpenAI cho biết các quy tắc robots.txt có thể không áp dụng cho ChatGPT-User, và Perplexity cho biết Perplexity-User thường bỏ qua chúng, vì một người dùng đã yêu cầu lấy dữ liệu. Anthropic cho biết các chủ sở hữu trang web có thể sử dụng robots.txt để kiểm soát Claude-User.

Đối với các nhóm SEO theo dõi các trích dẫn AI, một quy tắc "chặn tất cả các bot AI" có thể loại bỏ một trang khỏi các câu trả lời AI, không chỉ từ dữ liệu đào tạo.

Có Bao Nhiêu Lần Thu Thập AI

Cloudflare đã báo cáo vào tháng 7 năm 2025 rằng tỷ lệ lưu lượng trình thu thập chỉ AI của GPTBot đã tăng từ 5% lên 30% giữa tháng 5 năm 2024 và tháng 5 năm 2025, với ClaudeBot ở mức 21%. Cùng ngày, Cloudflare thông báo rằng họ sẽ chặn các trình thu thập AI truy cập nội dung mà không có sự cho phép theo mặc định, và hỏi mọi miền mới liệu có cho phép chúng hay không.

Điều Đó Có Nghĩa Gì Đối Với Việc Thu Thập Dữ Liệu Web

  • Tên bot không chứng minh điều gì: bất kỳ khách hàng nào cũng có thể gửi tên của một trình thu thập AI trong tiêu đề User-Agent, vì vậy các trang web mà quan tâm cần kiểm tra nhiều hơn chỉ chuỗi đó.
  • Đọc các quy tắc cho mã thông báo của riêng bạn: robots.txt có thể thiết lập các quy tắc khác nhau cho mỗi trình thu thập, vì vậy hãy kiểm tra nhóm áp dụng cho tác nhân người dùng của bạn, không chỉ các bot AI.
  • Mong đợi nhiều khối hơn đối với lưu lượng liên quan đến AI: với việc chặn theo mặc định trên các mạng như Cloudflare, các đường ống dữ liệu cho các dự án AI nên lên kế hoạch cho các yêu cầu bị từ chối và tôn trọng chúng.

Các Thuật Ngữ Liên Quan