数据解析是从原始抓取内容(如 HTML、JSON 或 XML)中提取结构化、可用信息的过程,并将其转换为电子表格或数据库记录等干净格式。解析是将原始抓取网页转换为实际可用数据的步骤。
常见解析方法
- HTML 解析库(如 BeautifulSoup 或 Cheerio),它们导航页面的 DOM 结构以提取特定元素
- CSS 选择器或 XPath 查询,通过标签、属性或在文档树中的位置来定位元素
解析格式不正确的 HTML
真实页面通常包含无效的标记,解析器不会以相同的方式修复它。Beautiful Soup 的文档显示输入 <a></p> 在 Python 的 html.parser 中变为 <a></a>,在 lxml 中变为 <html><body><a></a></body></html>,在 html5lib 中变为 <html><head></head><body><a><p></p></a></body></html>,后者的解析方式类似于浏览器。文档建议明确命名解析器,以便代码在每台机器上给出相同的结果。
解析 JSON
JSON 响应直接解析为对象,而不是作为标记进行搜索。在 JavaScript 中,JSON.parse() 构建 JSON 字符串描述的值,并在字符串不是有效 JSON 时抛出 SyntaxError,例如当它有尾随逗号或单引号字符串时。