API(应用程序编程接口)是一组定义好的规则,允许一个软件与另一个软件进行通信,使应用程序能够以 结构化格式 请求和交换数据,例如 JSON,而无需解析原始 HTML。当一个网站从 API 加载数据时,Scrapy 的文档称重现这些请求为首选方法,因为它提供了结构化、完整的数据,并且最小化了解析时间。

一些代理和数据提取提供商提供自己的“抓取 API”,将代理基础设施与内置解析相结合,有效地代表客户将非结构化网站转换为结构化的 API 响应。

公共 API 可以记录其速率限制和身份验证要求。例如,GitHub 的 REST API 文档发布了其每小时请求限制。

相关术语