robots.txt is 'n tekslêer wat webwerwe publiseer op die boonste vlak van elke gasheer (bv. example.com/robots.txt) wat spesifiseer watter bladsye of afdelings soekenjin-kruipers en ander bots toegelaat of verbied word om toegang te verkry. Dit is 'n vrywillige standaard: goedgedra kruipers respekteer dit, maar dit het geen tegniese afdwingingsmeganisme van sy eie nie.

RFC 9309 sê dat kruipers die reëls in 'n robots.txt-lêer wat hulle afgelaai het, moet volg, maar dit stel ook dat hierdie reëls nie 'n vorm van toegangsauteurskap is nie.

'n robots.txt-lêer kan verskillende reëls vir verskillende kruipers volgens naam stel, sodat 'n webwerf een soekenjin se kruiper breë toegang kan toelaat terwyl ander geblokkeer word.

Verwante Terme