API(應用程式介面)是一組定義好的規則,讓一個軟體與另一個軟體進行通信,使應用程式能夠以 結構化格式(例如 JSON)請求和交換數據,而無需解析原始 HTML。當網站從 API 加載數據時,Scrapy 的文檔稱重現這些請求為首選方法,因為這樣可以提供結構化、完整的數據,並且最小化解析時間。
一些代理和數據提取提供商提供自己的「爬蟲 API」,將代理基礎設施與內建解析結合,實際上代表客戶將非結構化網站轉換為結構化的 API 回應。
公共 API 可以記錄其速率限制和身份驗證要求。例如,GitHub 的 REST API 文檔發布其每小時請求限制。