API(应用程序编程接口)是一个定义好的规则集,允许一段软件与另一段软件进行通信,使应用程序能够以 结构化格式 请求和交换数据,例如 JSON,而无需解析原始 HTML。当一个网站从 API 加载数据时,Scrapy 的文档称重现这些请求为首选方法,因为它提供了结构化、完整的数据,并且解析时间最少。

一些代理和数据提取提供商提供他们自己的 "爬虫 API",将代理基础设施与内置解析结合起来,有效地将一个非结构化的网站转变为客户的结构化 API 响应。

公共 API 可以记录其速率限制和身份验证要求。例如,GitHub 的 REST API 文档发布了其每小时请求限制。

相关术语