La extracción web ética consiste en recopilar datos web disponibles públicamente de una manera que respete las reglas de acceso establecidas por un sitio, evite sobrecargar sus servidores y se mantenga dentro de los límites legales y de privacidad aplicables.

Prácticas Fundamentales para la Extracción Ética

  • Respetar las directrices de robots.txt donde sea razonable
  • Limitar la tasa de solicitudes para evitar sobrecargar los servidores de destino
  • Evitar la recopilación de datos personales sin una base legal clara
  • Revisar los Términos de Servicio de un sitio antes de realizar una recopilación a gran escala

El RFC 9309 describe las reglas de robots.txt como normas que se solicita a los rastreadores que respeten. También indica que no son una forma de autorización de acceso.

Limitar la tasa de solicitudes no solo se trata de evitar la detección. También reduce la carga impuesta a los servidores de un sitio de destino. En casos de EE. UU., los tribunales han considerado cuánto acceso automatizado afecta negativamente al sistema del propietario del sitio.

Términos Relacionados