robots.txt fayil ne na rubutu da shafukan yanar gizo ke wallafa a matakin sama na kowanne mai masauki (misali, example.com/robots.txt) wanda ke bayyana wane shafuka ko sassa ne masu bincike da sauran bots ke da izini ko kuma ba su da izini don samun dama. Wannan tsari ne na zaɓi: masu bincike masu kyau suna girmama shi, amma ba shi da wata hanyar tilasta fasaha ta kansa.

RFC 9309 ya ce masu bincike dole ne su bi ka'idojin da ke cikin fayil din robots.txt da suka sauke, amma kuma yana bayyana cewa waɗannan ka'idojin ba su da wani nau'i na izinin samun dama.

Fayil din robots.txt na iya saita dokoki daban-daban ga masu bincike daban-daban ta suna, don haka wani shafin na iya ba da izinin samun dama mai faɗi ga mai bincike na yanar gizo yayin da yake toshe wasu.

Kalmar da ta shafi