数据解析是从原始抓取内容(如 HTML、JSON 或 XML)中提取结构化、可用信息的过程,并将其转换为电子表格或数据库记录等干净格式。解析是将原始抓取网页转换为实际可用数据的步骤。

常见解析方法

解析格式不正确的 HTML

真实页面通常包含无效的标记,解析器不会以相同的方式修复它。Beautiful Soup 的文档显示输入 <a></p> 在 Python 的 html.parser 中变为 <a></a>,在 lxml 中变为 <html><body><a></a></body></html>,在 html5lib 中变为 <html><head></head><body><a><p></p></a></body></html>,后者的解析方式类似于浏览器。文档建议明确命名解析器,以便代码在每台机器上给出相同的结果。

解析 JSON

JSON 响应直接解析为对象,而不是作为标记进行搜索。在 JavaScript 中,JSON.parse() 构建 JSON 字符串描述的值,并在字符串不是有效 JSON 时抛出 SyntaxError,例如当它有尾随逗号或单引号字符串时。

相关术语