robots.txt 是网站在每个主机的顶层发布的文本文件(例如,example.com/robots.txt),它指定了搜索引擎爬虫和其他机器人被允许或禁止访问的页面或部分。这是一个自愿标准:表现良好的爬虫会尊重它,但它本身没有技术执行机制。

RFC 9309 规定爬虫必须遵循它们下载的 robots.txt 文件中的规则,但它也指出这些规则并不是一种访问授权形式。

robots.txt 文件可以为不同的爬虫设置不同的规则,因此一个网站可能允许一个搜索引擎的爬虫广泛访问,同时阻止其他爬虫。

相关术语