结构化数据是以可预测、机器可读的格式组织的信息,如电子表格、数据库表或 JSON 对象,而不是像自由格式文本或原始 HTML 这样的非结构化内容。网络爬虫通常将收集到的数据复制到一个中央本地数据库或电子表格中。

结构化数据也是一个技术术语,指的是网站直接嵌入其 HTML 中的标记(如 Schema.org 标签),以帮助搜索引擎理解页面内容。谷歌将其定义为提供有关页面信息和对其内容进行分类的标准化格式。

结构化数据、半结构化数据与非结构化数据

结构化半结构化非结构化
形状固定字段,如行和列标签字段可以在记录之间变化没有预定义字段
示例数据库表、电子表格、CSV 文件JSON、XML、HTML自由文本、图像、视频
查询方式直接,例如使用 SQL在 解析 标签后在提取或解释后

爬虫的工作通常是将网页的半结构化 HTML 转换为结构化行。

搜索的结构化数据标记

  • 格式: 谷歌支持 JSON-LD、Microdata 和 RDFa,并推荐在网站设置允许的情况下使用 JSON-LD。
  • 位置: JSON-LD 放在 <script type="application/ld+json"> 标签中,与可见 HTML 分开。
  • 词汇: 标记使用 Schema.org 类型,如 Product、Offer 和 Recipe,以及它们的属性。
  • 丰富结果: 有效的标记可以使页面有资格在 SERP 上获得增强显示,但谷歌不保证它们会显示。

一个最小的产品示例,改编自谷歌的商家列表文档:

{
  "@context": "https://schema.org/",
  "@type": "Product",
  "name": "Example Mug",
  "offers": {
    "@type": "Offer",
    "price": 12.50,
    "priceCurrency": "USD",
    "availability": "https://schema.org/InStock"
  }
}

谷歌的标记规则

  • 匹配页面: 结构化数据必须真实地反映页面内容。
  • 没有隐藏内容: 不要标记对页面读者不可见的内容。
  • 处罚: 结构化数据手动操作会使页面失去丰富结果的资格。谷歌表示,这不会改变页面在网络搜索中的排名。

谷歌已退休的丰富结果

谷歌随着时间的推移会删除丰富结果类型,因此曾经在搜索中显示的标记可能不再有效:

  • 常见问题: 自 2026 年 5 月 7 日起停止在谷歌搜索中出现。
  • 练习问题: 2026 年 1 月删除文档。
  • 课程信息、估计薪资、学习视频、特别公告和车辆列表: 2025 年 9 月删除文档。

JSON-LD 通常是页面上最干净的数据

对于爬虫来说,页面的 JSON-LD 块可以在标签字段中包含与可见页面相同的事实,例如产品的 price、priceCurrency 和 availability。使用 JSON 解析器读取它可以避免在页面布局更改时破坏的 CSS 选择器。由于谷歌要求标记代表可见内容,因此希望获得丰富结果的网站有理由保持其准确性。不过,仍需与可见页面进行核对,因为没有任何强制措施要求每个网站遵循谷歌的规则。

对网络爬虫的意义

  • 优先查找 JSON-LD: 在为可见页面编写选择器之前,先在 HTML 中搜索 application/ld+json。
  • 检查类型: 仅从所需的 @type 中读取字段,例如 Product 或 Offer。
  • 将输出存储为结构化行: 每列保留一个字段,单位和货币放在各自的字段中。

相关术语