數據解析是從原始抓取內容(如 HTML、JSON 或 XML)中提取結構化、可用信息的過程,並將其轉換為如電子表格或數據庫記錄等乾淨格式。解析是將原始抓取的網頁轉變為實際可用數據的步驟。

常見的解析方法

  • HTML 解析庫(如 BeautifulSoup 或 Cheerio),這些庫導航頁面的 DOM 結構以提取特定元素
  • CSS 選擇器或 XPath 查詢,這些查詢通過標籤、屬性或在文檔樹中的位置來定位元素

解析格式錯誤的 HTML

實際頁面通常包含無效的標記,解析器不會以相同的方式修復它。Beautiful Soup 的文檔顯示輸入 <a></p> 在 Python 的 html.parser 中變成 <a></a>,在 lxml 中變成 <html><body><a></a></body></html>,在 html5lib 中變成 <html><head></head><body><a><p></p></a></body></html>,該解析器的行為類似於瀏覽器。文檔建議明確命名解析器,以便代碼在每台機器上都能產生相同的結果。

解析 JSON

JSON 響應直接解析為對象,而不是作為標記進行搜索。在 JavaScript 中,JSON.parse() 構建 JSON 字符串所描述的值,並在字符串不是有效 JSON 時拋出 SyntaxError,例如當它有尾隨逗號或單引號字符串時。

相關術語