robots.txtは、各ホストの最上位に公開されるテキストファイルで、検索エンジンのクローラーやその他のボットがアクセスを許可または拒否されるページやセクションを指定します(例:example.com/robots.txt)。これは任意の標準であり、適切に動作するクローラーはこれを尊重しますが、技術的な強制メカニズムはありません。

RFC 9309では、クローラーはダウンロードしたrobots.txtファイルのルールに従う必要があるとされていますが、これらのルールはアクセスの承認形式ではないとも述べています。

robots.txtファイルは、クローラーの名前ごとに異なるルールを設定できるため、あるサイトは特定の検索エンジンのクローラーに広範なアクセスを許可し、他のクローラーをブロックすることができます。

関連用語