API(應用程式介面)是一組定義好的規則,讓一個軟件與另一個軟件進行通信,允許應用程式以 結構化格式(例如 JSON)請求和交換數據,而無需解析原始 HTML。當網站從 API 加載數據時,Scrapy 的文檔稱重複這些請求為首選方法,因為它提供結構化、完整的數據,並且最小化解析時間。

在網絡上,「API」通常指的是網絡 API:一組 URL,稱為端點,接受 HTTP 請求並返回數據而不是頁面。

API 請求的工作原理

  1. 客戶端調用端點: 它向特定 URL 發送 HTTP 請求,例如 GET。
  2. 遵循 API 的架構: 請求必須使用 API 預期的參數和格式,否則伺服器無法返回可用的答案。
  3. 證明身份: 許多 API 需要 API 密鑰或來自 OAuth 的訪問令牌。
  4. 伺服器響應: 它返回數據,通常是 JSON,並附帶狀態碼,例如 200 表示成功,或 429 表示發送了過多請求。

常見的 API 類型

  • REST: 一種網絡服務的架構風格。Cloudflare 指出,當今大多數 API 都是 REST API。
  • SOAP: 一種消息協議,而不是像 REST 這樣的風格。
  • GraphQL: 一種用於 API 的查詢語言。其官方網站表示,客戶端可以精確請求所需的字段,並在一次請求中獲取相關數據。
  • Webhooks: 當事件發生時,伺服器調用您的 URL,而不是您主動請求。請參見 webhook。

API 與網頁抓取

官方 API網頁抓取
獲得的內容結構化數據,通常是 JSON為人類構建的 HTML
限制文檔化,例如 GitHub 的每小時 60 次未經身份驗證或 5,000 次身份驗證請求未公布,儘管網站仍然可以進行速率限制
格式由 API 的架構設置頁面的 HTML 內容
覆蓋範圍只有擁有者選擇公開的數據任何顯示在公共頁面上的內容

一些代理和數據提取提供商提供自己的「抓取 API」,將代理基礎設施與內置解析相結合,實際上將非結構化網站轉換為結構化的 API 響應,代表客戶進行操作。

許多網站擁有隱藏的 API

使用 JavaScript 加載內容的頁面通常會從網站自己的 API 獲取數據。Scrapy 的文檔建議在瀏覽器的網絡工具中查找該請求並重複它。有時相同的 HTTP 方法和 URL 就足夠了。其他時候,您還需要它的標頭、主體或表單參數。如果響應是 JSON,您可以直接加載它,而無需解析 HTML。

只重試安全的請求

HTTP 方法在發送兩次請求時的行為有所不同。MDN 定義一個方法為冪等,當多個相同的請求具有與一次請求相同的預期效果時:

  • 安全重試: GET、HEAD、OPTIONS、PUT 和 DELETE 是冪等的。
  • 不保證: POST 和 PATCH 不是,因此重試失敗的 POST 可能會創建重複的訂單、消息或記錄。
  • 修復進行中: 一個 IETF 草案定義了一個 Idempotency-Key 標頭,讓伺服器識別相同的 POST 的重試。它列出了 Stripe、Adyen 和其他已經使用類似標頭的公司。

對網頁抓取的意義

  • 首先檢查 API: 官方或隱藏的 API 通常提供比 HTML 更乾淨的數據。
  • 尊重文檔限制: GitHub 的更高限制適用於經過身份驗證的用戶,因此它遵循帳戶,而不是 IP。
  • 重試讀取,而不是寫入: 自動重試在 GET 請求上是最安全的。

相關術語