robots.txt 是網站在每個主機的頂層發布的文本文件(例如,example.com/robots.txt),告訴搜索引擎爬蟲和其他機器人可以或不可以訪問哪些路徑。這是自願的:行為良好的爬蟲會遵守,但它本身沒有技術強制機制。
該格式是機器人排除協議,於2022年9月作為RFC 9309發布。爬蟲必須遵循它們下載的文件中的規則,但這些規則並不是訪問授權的形式。這一條目涵蓋了文件的結構、爬蟲如何解決衝突規則、當文件無法獲取時會發生什麼,以及它不做的事情。
robots.txt 文件的工作原理
規則按爬蟲分組。每組以一個或多個 user-agent 行命名爬蟲,然後是 allow 和 disallow 行的URL路徑。爬蟲不區分大小寫地匹配其名稱,如果沒有組名它們,則遵循 user-agent: * 組(如果有的話)。這使得網站可以給一個搜索引擎廣泛的訪問權限,同時阻止其他搜索引擎。
user-agent: *
disallow: /cart
allow: /cart/help
user-agent: ExampleBot
disallow: /
Google支持四個字段:user-agent、allow、disallow 和 sitemap。其他字段,例如 crawl-delay,不被Google支持,因此不能用來減慢Googlebot的速度。
爬蟲如何解決衝突規則
- 最長匹配獲勝: 當一條允許規則和一條不允許規則都匹配一個URL時,字符數最多的那條規則適用。在上面的例子中,
/cart/help仍然是開放的,即使/cart被阻止。 - 平局歸於允許: 如果兩條規則是等效的,則應使用允許規則。
- 通配符:
*匹配零個或多個任意字符,$標記模式的結尾,因此disallow: /*.pdf$阻止以.pdf結尾的URL。
當 robots.txt 無法獲取時會發生什麼
爬蟲的行為取決於它對文件本身的響應,結果是相反的。缺失的文件會打開整個網站;服務器錯誤則會關閉它。
| 情況 | RFC 9309 | |
|---|---|---|
| 4xx響應(例如,404) | 爬蟲可以訪問任何資源 | 被視為不存在robots.txt,除了429 |
| 5xx響應或無法訪問 | 爬蟲必須假設完全不允許訪問 | 5xx遵循其自己的定時重試過程;DNS和網絡故障計入服務器錯誤 |
| 緩存 | 緩存副本不應使用超過24小時,除非文件無法訪問 | 通常緩存最多24小時,若無法刷新則更長 |
| 文件大小 | 解析器必須處理至少500 KiB | 超過500 KiB的內容將被忽略 |
這對雙方都很重要。短暫返回錯誤的robots.txt文件的網站可能會鎖定合規的爬蟲,而規則更改可能需要最多一天才能到達它們。將失敗的獲取視為「無規則」的爬蟲會破壞協議。
robots.txt 不做的事情
- 防止頁面出現在搜索中: Google表示robots.txt不是防止頁面出現在Google中的機制。被阻止的URL仍然可以被索引,而不需要被爬取,只要其他頁面鏈接到它。要防止頁面出現,請使用
noindex或密碼保護,並保持頁面可爬取,以便noindex可以被看到。 - 保護任何內容: 該文件是公開的,因此在其中列出私有路徑會告訴攻擊者它們的位置。惡意軟件爬蟲和電子郵件地址收集者會忽略它。
- 約束每個機器人: 合規是自願的,因此敏感內容需要真正的訪問控制。
對網絡爬取的影響
在爬取之前,請在每個主機的根目錄獲取robots.txt,因為每個子域都有自己的文件。找到您爬蟲的用戶代理的組,回退到 *,並將最長匹配規則應用於您計劃請求的每個URL。許多網站現在添加針對 AI 爬蟲 的組名,因此上個月允許您的機器人的文件今天可能不再有效。
每天至少重新獲取一次該文件,並將 5xx 錯誤或超時視為「禁止一切」,直到它加載完成。因為 robots.txt 主要是一個管理爬蟲流量的工具,即使在 crawl-delay 未設置的情況下,也要與 請求限速 配合使用。通過代理路由請求不會改變該文件的許可:其規則適用於爬蟲,而不是它所連接的 IP 地址。