robots.txt là một tệp văn bản mà các trang web công bố ở cấp độ cao nhất của mỗi máy chủ (ví dụ: example.com/robots.txt) để chỉ định các trang hoặc phần nào mà các trình thu thập thông tin của công cụ tìm kiếm và các bot khác được phép hoặc không được phép truy cập. Đây là một tiêu chuẩn tự nguyện: các trình thu thập thông tin hoạt động tốt sẽ tôn trọng nó, nhưng nó không có cơ chế thực thi kỹ thuật riêng.

RFC 9309 nói rằng các trình thu thập thông tin phải tuân theo các quy tắc trong tệp robots.txt mà họ đã tải xuống, nhưng nó cũng nêu rõ rằng các quy tắc này không phải là hình thức ủy quyền truy cập.

Một tệp robots.txt có thể thiết lập các quy tắc khác nhau cho các trình thu thập thông tin khác nhau theo tên, vì vậy một trang web có thể cho phép một trình thu thập thông tin của công cụ tìm kiếm truy cập rộng rãi trong khi chặn các trình thu thập khác.

Các Thuật Ngữ Liên Quan