robots.txt เป็นไฟล์ข้อความที่เว็บไซต์เผยแพร่ที่ระดับสูงสุดของแต่ละโฮสต์ (เช่น example.com/robots.txt) ซึ่งระบุว่าหน้าเว็บหรือส่วนใดที่อนุญาตหรือไม่อนุญาตให้โปรแกรมค้นหาและบอทอื่น ๆ เข้าถึงได้ มันเป็นมาตรฐานที่สมัครใจ: โปรแกรมค้นหาที่ปฏิบัติตามกฎจะเคารพมัน แต่ไม่มีกลไกการบังคับใช้ทางเทคนิคของมันเอง

RFC 9309 ระบุว่าโปรแกรมค้นหาต้องปฏิบัติตามกฎในไฟล์ robots.txt ที่พวกเขาได้ดาวน์โหลด แต่ก็ยังระบุว่ากฎเหล่านี้ไม่ใช่รูปแบบของการอนุญาตการเข้าถึง

ไฟล์ robots.txt สามารถตั้งกฎที่แตกต่างกันสำหรับโปรแกรมค้นหาที่แตกต่างกันตามชื่อ ดังนั้นเว็บไซต์อาจอนุญาตให้โปรแกรมค้นหาของเครื่องมือค้นหาหนึ่งเข้าถึงได้กว้างขวางในขณะที่บล็อกโปรแกรมค้นหาของเครื่องมืออื่น ๆ

ข้อกำหนดที่เกี่ยวข้อง