Một trình thu thập web là một chương trình duyệt và lập chỉ mục các trang web một cách có hệ thống bằng cách theo dõi các liên kết từ trang này sang trang khác, thường được sử dụng để khám phá và lập danh mục nội dung trên một trang web hoặc trên toàn bộ web. Các công cụ tìm kiếm sử dụng trình thu thập để xây dựng chỉ mục của họ, và các công ty AI ngày càng sử dụng trình thu thập để thu thập dữ liệu đào tạo và truy xuất.

Các trình thu thập khác với các công cụ thu thập dữ liệu có mục tiêu về phạm vi: một công cụ thu thập dữ liệu thường trích xuất dữ liệu cụ thể từ các trang đã biết, trong khi nhiệm vụ của một trình thu thập là khám phá, tìm các trang mà nó chưa biết đến bằng cách theo dõi các liên kết ra ngoài.

Một trình thu thập hoạt động tốt sẽ kiểm tra tệp robots.txt của một trang web trước khi thu thập và bỏ qua bất kỳ đường dẫn nào mà nó không cho phép, mặc dù RFC 9309 tuyên bố rằng những quy tắc này không phải là hình thức ủy quyền truy cập và không thay thế cho các biện pháp bảo mật thực sự.

Các thuật ngữ liên quan