robots.txt 是網站在每個主機的頂層發布的文本文件(例如,example.com/robots.txt),告訴搜索引擎爬蟲和其他機器人可以或不可以訪問哪些路徑。這是自願的:行為良好的爬蟲會遵守,但它本身沒有技術強制機制。

該格式是機器人排除協議,於2022年9月作為RFC 9309發布。爬蟲必須遵循它們下載的文件中的規則,但這些規則並不是訪問授權的形式。這一條目涵蓋了文件的結構、爬蟲如何解決衝突規則、當文件無法獲取時會發生什麼,以及它不做的事情。

robots.txt 文件的工作原理

規則按爬蟲分組。每組以一個或多個 user-agent 行命名爬蟲,然後是 allow 和 disallow 行的URL路徑。爬蟲不區分大小寫地匹配其名稱,如果沒有組名它們,則遵循 user-agent: * 組(如果有的話)。這使得網站可以給一個搜索引擎廣泛的訪問權限,同時阻止其他搜索引擎。

user-agent: *
disallow: /cart
allow: /cart/help

user-agent: ExampleBot
disallow: /

Google支持四個字段:user-agent、allow、disallow 和 sitemap。其他字段,例如 crawl-delay,不被Google支持,因此不能用來減慢Googlebot的速度。

爬蟲如何解決衝突規則

  • 最長匹配獲勝: 當一條允許規則和一條不允許規則都匹配一個URL時,字符數最多的那條規則適用。在上面的例子中,/cart/help 仍然是開放的,即使 /cart 被阻止。
  • 平局歸於允許: 如果兩條規則是等效的,則應使用允許規則。
  • 通配符: * 匹配零個或多個任意字符,$ 標記模式的結尾,因此 disallow: /*.pdf$ 阻止以 .pdf 結尾的URL。

當 robots.txt 無法獲取時會發生什麼

爬蟲的行為取決於它對文件本身的響應,結果是相反的。缺失的文件會打開整個網站;服務器錯誤則會關閉它。

情況RFC 9309Google
4xx響應(例如,404)爬蟲可以訪問任何資源被視為不存在robots.txt,除了429
5xx響應或無法訪問爬蟲必須假設完全不允許訪問5xx遵循其自己的定時重試過程;DNS和網絡故障計入服務器錯誤
緩存緩存副本不應使用超過24小時,除非文件無法訪問通常緩存最多24小時,若無法刷新則更長
文件大小解析器必須處理至少500 KiB超過500 KiB的內容將被忽略

這對雙方都很重要。短暫返回錯誤的robots.txt文件的網站可能會鎖定合規的爬蟲,而規則更改可能需要最多一天才能到達它們。將失敗的獲取視為「無規則」的爬蟲會破壞協議。

robots.txt 不做的事情

  • 防止頁面出現在搜索中: Google表示robots.txt不是防止頁面出現在Google中的機制。被阻止的URL仍然可以被索引,而不需要被爬取,只要其他頁面鏈接到它。要防止頁面出現,請使用 noindex 或密碼保護,並保持頁面可爬取,以便 noindex 可以被看到。
  • 保護任何內容: 該文件是公開的,因此在其中列出私有路徑會告訴攻擊者它們的位置。惡意軟件爬蟲和電子郵件地址收集者會忽略它。
  • 約束每個機器人: 合規是自願的,因此敏感內容需要真正的訪問控制。

對網絡爬取的影響

在爬取之前,請在每個主機的根目錄獲取robots.txt,因為每個子域都有自己的文件。找到您爬蟲的用戶代理的組,回退到 *,並將最長匹配規則應用於您計劃請求的每個URL。許多網站現在添加針對 AI 爬蟲 的組名,因此上個月允許您的機器人的文件今天可能不再有效。

每天至少重新獲取一次該文件,並將 5xx 錯誤或超時視為「禁止一切」,直到它加載完成。因為 robots.txt 主要是一個管理爬蟲流量的工具,即使在 crawl-delay 未設置的情況下,也要與 請求限速 配合使用。通過代理路由請求不會改變該文件的許可:其規則適用於爬蟲,而不是它所連接的 IP 地址。

相關術語