robots.txt, her ana bilgisayarın en üst düzeyinde yayınlanan bir metin dosyasıdır (örneğin, example.com/robots.txt) ve arama motoru tarayıcılarının ve diğer botların hangi sayfalara veya bölümlere erişim izni verildiğini veya verilmediğini belirtir. Bu, isteğe bağlı bir standarttır: iyi davranan tarayıcılar buna saygı gösterir, ancak kendi başına teknik bir uygulama mekanizması yoktur.

RFC 9309, tarayıcıların indirdikleri robots.txt dosyasındaki kurallara uyması gerektiğini belirtir, ancak bu kuralların bir erişim yetkilendirme biçimi olmadığını da ifade eder.

Bir robots.txt dosyası, farklı tarayıcılar için isimlerine göre farklı kurallar belirleyebilir, bu nedenle bir site bir arama motorunun tarayıcısına geniş erişim izni verirken diğerlerini engelleyebilir.

İlgili Terimler