A extração ética de dados da web é a coleta de dados da web disponíveis publicamente de uma maneira que respeita as regras de acesso declaradas de um site, evita sobrecarregar seus servidores e permanece dentro dos limites legais e de privacidade aplicáveis.

Práticas Fundamentais para a Extração Ética

  • Respeitar as diretivas de robots.txt sempre que razoável
  • Limitar a taxa de solicitações para evitar sobrecarregar os servidores-alvo
  • Evitar a coleta de dados pessoais sem uma base legal clara
  • Revisar os Termos de Serviço de um site antes da coleta em larga escala

O RFC 9309 descreve as regras do robots.txt como regras que os crawlers são solicitados a honrar. Também diz que não são uma forma de autorização de acesso.

Limitar a taxa de solicitações não é apenas sobre evitar a detecção. Também reduz a carga imposta aos servidores de um site-alvo. Em casos nos EUA, os tribunais consideraram quanto o acesso automatizado afeta negativamente o sistema do proprietário do site.

Termos Relacionados