A extração ética de dados da web é a coleta de dados da web disponíveis publicamente de uma maneira que respeita as regras de acesso declaradas de um site, evita sobrecarregar seus servidores e permanece dentro dos limites legais e de privacidade aplicáveis.
Práticas Fundamentais para a Extração Ética
- Respeitar as diretivas de
robots.txtsempre que razoável - Limitar a taxa de solicitações para evitar sobrecarregar os servidores-alvo
- Evitar a coleta de dados pessoais sem uma base legal clara
- Revisar os Termos de Serviço de um site antes da coleta em larga escala
O RFC 9309 descreve as regras do robots.txt como regras que os crawlers são solicitados a honrar. Também diz que não são uma forma de autorização de acesso.
Limitar a taxa de solicitações não é apenas sobre evitar a detecção. Também reduz a carga imposta aos servidores de um site-alvo. Em casos nos EUA, os tribunais consideraram quanto o acesso automatizado afeta negativamente o sistema do proprietário do site.