爬虫 API 是一种托管服务,它为您获取网页并通过一次 API 调用返回其内容。您发送目标 URL。该服务处理代理、浏览器渲染和反机器人措施,然后返回 HTML 或结构化 JSON。一些服务还将页面解析为命名字段,例如产品的标题和价格。

一些爬虫 API 按请求定价,仅对成功的响应收费。一些服务还会内部处理封禁,仅在无法在合理时间内避免封禁时返回封禁响应。

爬虫 API 请求的工作原理

  • 请求: 将目标 URL 发送到服务的端点,并附上您的 API 密钥,该密钥根据服务的不同可以放在查询参数或 HTTP 认证头中。
  • 选项: 参数可以开启 JavaScript 渲染,选择请求来源的国家,或在多个请求之间重用会话。
  • 响应: 服务返回原始 HTML、浏览器渲染的 HTML、截图或提取的 结构化数据。
  • 异步作业: 对于大批量请求,一些服务接受作业,返回一个状态 URL 以供检查,并可以将结果发送到 网络钩子。

爬虫 API 与官方 API

官方 API 是由网站所有者发布的,用于程序化访问。它以文档化的格式返回数据,并设定明确的限制。例如,GitHub 的 REST API 允许每小时 60 次未认证请求和每小时 5,000 次认证用户请求。相比之下,爬虫 API 则是从为人类浏览器构建的页面中工作。它可以访问官方 API 不提供的公共数据。

相关术语