robots.txt 是網站在每個主機的頂層發布的文本文件(例如,example.com/robots.txt),它指定了搜索引擎爬蟲和其他機器人被允許或不允許訪問的頁面或部分。這是一個自願標準:行為良好的爬蟲會尊重它,但它本身並沒有技術執行機制。
RFC 9309 說明爬蟲必須遵循它們下載的 robots.txt 文件中的規則,但它也指出這些規則並不是一種訪問授權的形式。
robots.txt 文件可以為不同的爬蟲設置不同的規則,因此一個網站可能允許某個搜索引擎的爬蟲廣泛訪問,同時阻止其他爬蟲。