robots.txt adalah fail teks yang diterbitkan oleh laman web di tahap tertinggi setiap hos (contohnya, example.com/robots.txt) yang memberitahu pengendali enjin carian dan bot lain laluan mana yang boleh atau tidak boleh mereka akses. Ia adalah sukarela: pengendali yang berkelakuan baik menghormatinya, tetapi ia tidak mempunyai mekanisme penguatkuasaan teknikalnya sendiri.
Formatnya adalah Protokol Pengecualian Robots, diterbitkan sebagai RFC 9309 pada September 2022. Pengendali mesti mengikuti peraturan dalam fail yang telah mereka muat turun, tetapi peraturan tersebut bukanlah bentuk kebenaran akses. Entri ini merangkumi bagaimana fail itu disusun, bagaimana pengendali menyelesaikan peraturan yang bertentangan, apa yang berlaku apabila fail tidak dapat diambil, dan apa yang tidak dilakukannya.
Bagaimana Fail robots.txt Berfungsi
Peraturan dikelompokkan mengikut pengendali. Setiap kumpulan bermula dengan satu atau lebih baris user-agent yang menamakan pengendali, diikuti dengan baris allow dan disallow dengan laluan URL. Pengendali mencocokkan nama mereka tanpa mengira kes, dan jika tiada kumpulan menamakan mereka, mereka mengikuti kumpulan user-agent: * jika ada. Ini membolehkan laman web memberikan akses luas kepada satu enjin carian sambil menyekat yang lain.
user-agent: *
disallow: /cart
allow: /cart/help
user-agent: ExampleBot
disallow: /
Google menyokong empat medan: user-agent, allow, disallow, dan sitemap. Medan lain, seperti crawl-delay, tidak disokong oleh Google, jadi ia tidak boleh digunakan untuk memperlahankan Googlebot.
Bagaimana Pengendali Menyelesaikan Peraturan yang Bertentangan
- Panjang yang paling menang: Apabila peraturan membenarkan dan peraturan melarang kedua-duanya mencocokkan URL, yang mempunyai paling banyak aksara yang terpakai. Dalam contoh di atas,
/cart/helptetap terbuka walaupun/cartdisekat. - Sama pergi kepada membenarkan: Jika kedua-dua peraturan adalah setara, peraturan membenarkan harus digunakan.
- Wildcard:
*mencocokkan sifar atau lebih mana-mana aksara, dan$menandakan akhir pola, jadidisallow: /*.pdf$menyekat URL yang berakhir dengan.pdf.
Apa yang Berlaku Apabila robots.txt Tidak Dapat Diambil
Tingkah laku pengendali bergantung kepada respons yang mereka terima untuk fail itu sendiri, dan hasilnya adalah bertentangan. Fail yang hilang membuka seluruh laman; ralat pelayan menutupnya.
| Situasi | RFC 9309 | |
|---|---|---|
| 4xx respons (contohnya, 404) | Pengendali boleh mengakses mana-mana sumber | Dianggap seolah-olah tiada robots.txt wujud, kecuali 429 |
| 5xx respons atau tidak dapat diakses | Pengendali mesti menganggap larangan lengkap | 5xx mengikuti proses percubaan semula berjadualnya sendiri; kegagalan DNS dan rangkaian dianggap sebagai ralat pelayan |
| Penyangkalan | Salinan yang disimpan tidak seharusnya digunakan lebih dari 24 jam, kecuali fail tidak dapat diakses | Umumnya disimpan sehingga 24 jam, lebih lama jika ia tidak dapat diperbaharui |
| Saiz fail | Pengurai mesti mengendalikan sekurang-kurangnya 500 KiB | Kandungan selepas 500 KiB diabaikan |
Ini penting di kedua-dua belah. Laman web yang robots.txt-nya secara ringkas mengembalikan ralat boleh mengunci pengendali yang mematuhi, dan perubahan peraturan boleh mengambil masa sehingga sehari untuk sampai kepada mereka. Pengendali yang menganggap pengambilan yang gagal sebagai "tiada peraturan" melanggar protokol.
Apa yang robots.txt Tidak Lakukan
- Menghalang halaman daripada carian: Google mengatakan robots.txt bukanlah mekanisme untuk menghalang halaman daripada Google. URL yang disekat masih boleh diindeks tanpa dicrawl jika halaman lain menghubungkannya. Untuk menghalang halaman, gunakan
noindexatau perlindungan kata laluan, dan biarkan halaman boleh dicrawl supayanoindexdapat dilihat. - Mengamankan apa-apa: Fail itu adalah awam, jadi menyenaraikan laluan peribadi di dalamnya menunjukkan kepada penyerang di mana mereka berada. Robot malware dan pengumpul alamat e-mel mengabaikannya.
- Mengikat setiap bot: Pematuhan adalah sukarela, jadi kandungan sensitif memerlukan kawalan akses yang sebenar.
Apa Maknanya untuk Pengikisan Web
Sebelum mencrawl, ambil robots.txt di akar setiap hos, kerana setiap subdomain mempunyai failnya sendiri. Cari kumpulan untuk user-agent pengendali anda, jatuh kembali kepada *, dan terapkan peraturan panjang-terpanjang kepada setiap URL yang anda rancang untuk minta. Banyak laman web kini menambah kumpulan yang menyasarkan pengendali AI dengan nama, jadi fail yang membenarkan bot anda bulan lalu mungkin tidak lagi membenarkannya hari ini.
Ambil semula fail sekurang-kurangnya sekali sehari, dan anggap 5xx atau masa tamat sebagai "larang semuanya" sehingga ia dimuat. Oleh kerana robots.txt terutamanya adalah alat untuk mengurus trafik pengimbas, padankan ia dengan pengekangan permintaan walaupun crawl-delay tidak ditetapkan. Mengarahkan permintaan melalui proksi tidak mengubah apa yang dibenarkan oleh fail: peraturannya terpakai kepada pengimbas, bukan kepada alamat IP yang disambungkan.