Le web scraping éthique consiste à collecter des données web disponibles publiquement d'une manière qui respecte les règles d'accès énoncées par un site, évite de surcharger ses serveurs et reste dans les limites légales et de confidentialité applicables.

Pratiques fondamentales pour un scraping éthique

  • Respect des directives robots.txt lorsque cela est raisonnable
  • Limitation du taux de requêtes pour éviter de surcharger les serveurs cibles
  • Éviter la collecte de données personnelles sans base légale claire
  • Examiner les Conditions d'utilisation d'un site avant une collecte à grande échelle

La RFC 9309 décrit les règles robots.txt comme des règles que les crawlers sont invités à respecter. Elle précise également qu'elles ne constituent pas une forme d'autorisation d'accès.

Limiter le taux de requêtes ne consiste pas seulement à éviter la détection. Cela réduit également la charge imposée aux serveurs d'un site cible. Dans les affaires américaines, les tribunaux ont pris en compte l'impact de l'accès automatisé sur le système du propriétaire du site.

Termes associés