A análise de dados é o processo de extrair informações estruturadas e utilizáveis de conteúdo bruto coletado, como HTML, JSON ou XML, e convertê-las em um formato limpo, como uma planilha ou registro de banco de dados. A análise é a etapa que transforma uma página da web coletada em dados realmente utilizáveis.

Abordagens Comuns de Análise

  • Bibliotecas de análise de HTML (como BeautifulSoup ou Cheerio), que navegam na estrutura DOM de uma página para extrair elementos específicos
  • Consultas de seletor CSS ou XPath, que visam elementos por suas tags, atributos ou posição na árvore do documento

Analisando HTML Malformado

Páginas reais frequentemente contêm marcação inválida, e os analisadores não a corrigem da mesma forma. A documentação do Beautiful Soup mostra a entrada <a></p> se tornando <a></a> no html.parser do Python, <html><body><a></a></body></html> no lxml, e <html><head></head><body><a><p></p></a></body></html> no html5lib, que analisa como um navegador. A documentação recomenda nomear o analisador explicitamente para que o código forneça os mesmos resultados em todas as máquinas.

Analisando JSON

Respostas JSON são analisadas diretamente em objetos em vez de serem pesquisadas como marcação. Em JavaScript, JSON.parse() constrói o valor que uma string JSON descreve e lança um SyntaxError se a string não for um JSON válido, por exemplo, quando tem uma vírgula no final ou strings entre aspas simples.

Termos Relacionados