robots.txt는 각 호스트의 최상위 수준에 게시되는 텍스트 파일로 (예: example.com/robots.txt) 검색 엔진 크롤러 및 기타 봇에게 어떤 경로에 접근할 수 있는지 또는 없는지를 알려줍니다. 이는 자발적이며, 잘 작동하는 크롤러는 이를 존중하지만, 자체적으로 기술적인 강제 집행 메커니즘은 없습니다.

형식은 2022년 9월에 RFC 9309로 발표된 Robots Exclusion Protocol입니다. 크롤러는 다운로드한 파일의 규칙을 따라야 하지만, 이러한 규칙은 접근 권한 부여의 형태가 아닙니다. 이 항목에서는 파일의 구조, 크롤러가 충돌하는 규칙을 해결하는 방법, 파일을 가져올 수 없을 때 발생하는 일, 그리고 파일이 하지 않는 일에 대해 다룹니다.

robots.txt 파일이 작동하는 방식

규칙은 크롤러별로 그룹화됩니다. 각 그룹은 크롤러의 이름을 명시하는 하나 이상의 user-agent 라인으로 시작하며, 뒤이어 allow 및 disallow 라인으로 URL 경로가 옵니다. 크롤러는 이름을 대소문자를 구분하지 않고 일치시키며, 만약 어떤 그룹도 이름을 지정하지 않으면, user-agent: * 그룹을 따릅니다. 이를 통해 사이트는 한 검색 엔진에 넓은 접근을 허용하면서 다른 검색 엔진은 차단할 수 있습니다.

user-agent: *
disallow: /cart
allow: /cart/help

user-agent: ExampleBot
disallow: /

Google은 네 가지 필드를 지원합니다: user-agent, allow, disallow, 및 sitemap. crawl-delay과 같은 다른 필드는 Google에서 지원되지 않으므로 Googlebot의 속도를 늦추는 데 사용할 수 없습니다.

크롤러가 충돌하는 규칙을 해결하는 방법

  • 가장 긴 일치가 승리: 허용 규칙과 금지 규칙이 모두 URL에 일치할 경우, 문자 수가 가장 많은 규칙이 적용됩니다. 위의 예에서 /cart/help는 /cart이 차단되더라도 열려 있습니다.
  • 동점은 허용으로: 두 규칙이 동등한 경우, 허용 규칙을 사용해야 합니다.
  • 와일드카드: *는 0개 이상의 모든 문자와 일치하며, $는 패턴의 끝을 표시하므로 disallow: /*.pdf$은 .pdf로 끝나는 URL을 차단합니다.

robots.txt를 가져올 수 없을 때 발생하는 일

크롤러의 동작은 파일 자체에 대한 응답에 따라 달라지며, 결과는 반대입니다. 파일이 없으면 전체 사이트가 열리고, 서버 오류가 발생하면 사이트가 닫힙니다.

상황RFC 9309Google
4xx 응답 (예: 404)크롤러는 모든 리소스에 접근할 수 있습니다robots.txt가 존재하지 않는 것처럼 처리되며, 429는 제외됩니다
5xx 응답 또는 접근 불가크롤러는 전체 금지를 가정해야 합니다5xx는 자체 타이밍 재시도 프로세스를 따르며, DNS 및 네트워크 오류는 서버 오류로 간주됩니다
캐싱캐시된 복사본은 24시간 이상 사용하지 않아야 하며, 파일에 접근할 수 없는 경우를 제외합니다일반적으로 24시간 동안 캐시되며, 새로 고칠 수 없는 경우 더 오래 유지됩니다
파일 크기파서는 최소 500 KiB를 처리해야 합니다500 KiB 이후의 내용은 무시됩니다

이것은 양쪽 모두에 중요합니다. robots.txt가 잠시 오류를 반환하는 사이트는 준수하는 크롤러를 차단할 수 있으며, 규칙 변경은 크롤러에 도달하는 데 최대 하루가 걸릴 수 있습니다. 실패한 가져오기를 "규칙 없음"으로 처리하는 크롤러는 프로토콜을 위반합니다.

robots.txt가 하지 않는 것

  • 페이지를 검색에서 제외: Google은 robots.txt가 페이지를 Google에서 제외하는 메커니즘이 아니라고 말합니다. 차단된 URL은 다른 페이지가 링크를 걸면 크롤링되지 않고도 색인화될 수 있습니다. 페이지를 제외하려면 noindex 또는 비밀번호 보호를 사용하고, noindex가 보이도록 페이지를 크롤링 가능하게 남겨두어야 합니다.
  • 무언가를 보호: 이 파일은 공개적이므로, 개인 경로를 나열하면 공격자에게 그 위치를 보여줍니다. 악성 봇과 이메일 주소 수집기는 이를 무시합니다.
  • 모든 봇을 구속: 준수는 자발적이므로, 민감한 콘텐츠에는 실제 접근 제어가 필요합니다.

웹 스크래핑에 대한 의미

크롤링하기 전에 각 호스트의 루트에서 robots.txt를 가져오세요. 각 서브도메인은 고유한 파일을 가지고 있습니다. 크롤러의 사용자 에이전트에 대한 그룹을 찾고, *로 대체하며, 요청할 모든 URL에 대해 가장 긴 일치 규칙을 적용하세요. 많은 사이트가 이제 AI 크롤러를 이름으로 타겟팅하는 그룹을 추가하므로, 지난 달에 귀하의 봇을 허용했던 파일이 오늘은 허용되지 않을 수 있습니다.

파일을 하루에 최소 한 번 다시 가져오고, 5xx 오류나 타임아웃을 "모든 것 금지"로 처리하여 로드될 때까지 기다리십시오. robots.txt는 주로 크롤러 트래픽을 관리하는 도구이므로, crawl-delay이 설정되지 않은 경우에도 요청 속도 조절과 함께 사용하십시오. 요청을 프록시를 통해 라우팅하는 것은 파일이 허용하는 내용을 변경하지 않습니다: 그 규칙은 크롤러에 적용되며, 연결하는 IP 주소에는 적용되지 않습니다.

관련 용어