Datenparsing ist der Prozess, bei dem strukturierte, nutzbare Informationen aus rohen, gescrapten Inhalten wie HTML, JSON oder XML extrahiert und in ein sauberes Format wie eine Tabelle oder einen Datenbankeintrag umgewandelt werden. Parsing ist der Schritt, der eine rohe gescrapte Webseite in tatsächlich nutzbare Daten verwandelt.
Häufige Parsing-Ansätze
- HTML-Parsing-Bibliotheken (wie BeautifulSoup oder Cheerio), die die DOM-Struktur einer Seite navigieren, um spezifische Elemente zu extrahieren
- CSS-Selektor- oder XPath-Abfragen, die Elemente nach ihren Tags, Attributen oder ihrer Position im Dokumentbaum anvisieren
Parsing von fehlerhaftem HTML
Echte Seiten enthalten oft ungültige Markup, und Parser reparieren es nicht auf die gleiche Weise. Die Dokumentation von Beautiful Soup zeigt, dass der Eingabewert <a></p> in Python's html.parser zu <a></a>, zu <html><body><a></a></body></html> in lxml und zu <html><head></head><body><a><p></p></a></body></html> in html5lib wird, das wie ein Browser parst. Die Dokumentation empfiehlt, den Parser explizit zu benennen, damit der Code auf jeder Maschine die gleichen Ergebnisse liefert.
Parsing von JSON
JSON-Antworten werden direkt in Objekte geparsed, anstatt als Markup durchsucht zu werden. In JavaScript baut JSON.parse() den Wert auf, den ein JSON-String beschreibt, und wirft einen SyntaxError, wenn der String kein gültiges JSON ist, zum Beispiel wenn er ein abschließendes Komma oder einfach zitierte Strings enthält.