윤리적인 웹 스크래핑은 사이트의 명시된 접근 규칙을 존중하고, 서버 과부하를 피하며, 적용 가능한 법적 및 개인 정보 보호 경계를 준수하는 방식으로 공개적으로 이용 가능한 웹 데이터를 수집하는 것입니다.
윤리적 스크래핑을 위한 핵심 관행
- 합리적인 경우
robots.txt지침을 존중하기 - 요청 속도 제한을 통해 대상 서버의 과부하 방지
- 명확한 법적 근거 없이 개인 데이터 수집 피하기
- 대규모 수집 전에 사이트의 서비스 약관 검토하기
RFC 9309는 robots.txt 규칙을 크롤러가 준수해야 할 규칙으로 설명합니다. 또한 이는 접근 권한 부여의 형태가 아니라고 명시하고 있습니다.
요청 속도 제한은 단순히 탐지를 피하는 것만이 아닙니다. 이는 대상 사이트의 서버에 가해지는 부하를 줄이는 데에도 기여합니다. 미국의 경우, 법원은 자동화된 접근이 사이트 소유자의 시스템에 얼마나 부정적인 영향을 미치는지를 고려해 왔습니다.