웹 크롤러는 웹 페이지를 체계적으로 탐색하고 인덱싱하는 프로그램으로, 페이지에서 페이지로 링크를 따라가며 사이트 또는 더 넓은 웹에서 콘텐츠를 발견하고 카탈로그화하는 데 사용됩니다. 검색 엔진은 크롤러를 사용하여 인덱스를 구축하며, AI 기업들은 점점 더 크롤러를 사용하여 훈련 및 검색 데이터를 수집하고 있습니다.

크롤러는 범위에서 타겟 스크레이퍼와 다릅니다: 스크레이퍼는 일반적으로 알려진 페이지에서 특정 데이터를 추출하는 반면, 크롤러의 작업은 발견으로, 링크를 따라가며 이미 알고 있지 않은 페이지를 찾는 것입니다.

잘 작동하는 크롤러는 크롤링하기 전에 사이트의 robots.txt 파일을 확인하고, 금지된 경로는 건너뜁니다. 그러나 RFC 9309는 이러한 규칙이 접근 권한 부여의 형태가 아니며 실제 보안 조치를 대체할 수 없다고 명시하고 있습니다.

관련 용어