robots.txt adalah file teks yang diterbitkan situs web di tingkat atas setiap host (misalnya, example.com/robots.txt) yang menentukan halaman atau bagian mana yang diizinkan atau tidak diizinkan untuk diakses oleh crawler mesin pencari dan bot lainnya. Ini adalah standar sukarela: crawler yang berperilaku baik menghormatinya, tetapi tidak memiliki mekanisme penegakan teknisnya sendiri.

RFC 9309 menyatakan bahwa crawler harus mengikuti aturan dalam file robots.txt yang telah mereka unduh, tetapi juga menyatakan bahwa aturan ini bukanlah bentuk otorisasi akses.

File robots.txt dapat menetapkan aturan yang berbeda untuk crawler yang berbeda berdasarkan nama, sehingga sebuah situs mungkin mengizinkan crawler mesin pencari tertentu untuk mengakses secara luas sementara memblokir yang lainnya.

Istilah Terkait