봇 탐지는 웹사이트, 앱 또는 API에 대한 트래픽이 자동화된 소프트웨어에서 오는지 아니면 인간에서 오는지를 식별하는 과정입니다. 또한 검색 엔진 크롤러와 같은 합법적인 봇과 유해한 봇을 구분합니다. 탐지 시스템은 네트워크, 클라이언트 및 사용자 행동의 신호를 점수화합니다. 그 결과는 요청이 허용되는지, 도전받는지 또는 차단되는지를 결정합니다.

봇 탐지의 계층

  • 네트워크 수준 신호: IP 평판, ASN 필터링
  • 클라이언트 수준 신호: TLS 및 브라우저 지문, 헤더 일관성
  • 행동 신호: 행동 텔레메트리, 세션 인식 속도 제한

한 계층을 통과한 요청도 다른 계층에서 플래그가 지정될 수 있습니다.

일부 신호는 서로 대조하여 확인할 수 있습니다. OWASP는 클라이언트 힌트 헤더가 클라이언트에 의해 선언되지만 TLS 지문에 대해 확인할 수 있다고 언급합니다.

좋은 봇 검증하기

모든 자동화된 트래픽이 원치 않는 것은 아닙니다. 예를 들어, 검색 엔진 크롤러는 페이지를 가져와 검색 결과에 나타날 수 있도록 합니다. 모든 봇이 User-Agent에서 크롤러라고 주장할 수 있기 때문에, 사이트는 대신 IP 주소를 확인합니다. Google은 Googlebot을 검증하는 두 가지 방법을 문서화합니다:

  • DNS 확인: IP에 대해 역 DNS 조회를 실행합니다. 호스트 이름이 googlebot.com, google.com 또는 googleusercontent.com으로 끝나는지 확인합니다. 그런 다음 정방향 조회를 실행하고 원래 IP를 반환하는지 확인합니다.
  • IP 범위: Google이 JSON 형식으로 게시하는 크롤러 IP 범위 목록과 IP를 일치시킵니다.

봇 탐지가 목표로 하는 위협

OWASP 자동화된 웹 애플리케이션에 대한 위협 프로젝트는 21개의 자동화된 위협을 명시합니다. 예시로는:

  • 자격 증명 채우기 (OAT-008): 도난당한 사용자 이름과 비밀번호 쌍을 테스트하는 대량 로그인 시도.
  • 스크래핑 (OAT-011): 애플리케이션 콘텐츠 또는 기타 데이터를 수집하여 다른 곳에서 사용하기.
  • 스칼핑 (OAT-005): 불공정한 방법으로 한정된 가용성 또는 선호 상품 및 서비스를 얻기.
  • 계정 생성 (OAT-019): 나중에 악용하기 위해 많은 계정을 생성하기.

관련 용어