API(應用程式介面)是一組定義好的規則,讓一個軟件與另一個軟件進行通信,允許應用程式以 結構化格式(例如 JSON)請求和交換數據,而無需解析原始 HTML。當網站從 API 加載數據時,Scrapy 的文檔稱重複這些請求為首選方法,因為它提供結構化、完整的數據,並且最小化解析時間。
在網絡上,「API」通常指的是網絡 API:一組 URL,稱為端點,接受 HTTP 請求並返回數據而不是頁面。
API 請求的工作原理
- 客戶端調用端點: 它向特定 URL 發送 HTTP 請求,例如
GET。 - 遵循 API 的架構: 請求必須使用 API 預期的參數和格式,否則伺服器無法返回可用的答案。
- 證明身份: 許多 API 需要 API 密鑰或來自 OAuth 的訪問令牌。
- 伺服器響應: 它返回數據,通常是 JSON,並附帶狀態碼,例如
200表示成功,或429表示發送了過多請求。
常見的 API 類型
- REST: 一種網絡服務的架構風格。Cloudflare 指出,當今大多數 API 都是 REST API。
- SOAP: 一種消息協議,而不是像 REST 這樣的風格。
- GraphQL: 一種用於 API 的查詢語言。其官方網站表示,客戶端可以精確請求所需的字段,並在一次請求中獲取相關數據。
- Webhooks: 當事件發生時,伺服器調用您的 URL,而不是您主動請求。請參見 webhook。
API 與網頁抓取
| 官方 API | 網頁抓取 | |
|---|---|---|
| 獲得的內容 | 結構化數據,通常是 JSON | 為人類構建的 HTML |
| 限制 | 文檔化,例如 GitHub 的每小時 60 次未經身份驗證或 5,000 次身份驗證請求 | 未公布,儘管網站仍然可以進行速率限制 |
| 格式 | 由 API 的架構設置 | 頁面的 HTML 內容 |
| 覆蓋範圍 | 只有擁有者選擇公開的數據 | 任何顯示在公共頁面上的內容 |
一些代理和數據提取提供商提供自己的「抓取 API」,將代理基礎設施與內置解析相結合,實際上將非結構化網站轉換為結構化的 API 響應,代表客戶進行操作。
許多網站擁有隱藏的 API
使用 JavaScript 加載內容的頁面通常會從網站自己的 API 獲取數據。Scrapy 的文檔建議在瀏覽器的網絡工具中查找該請求並重複它。有時相同的 HTTP 方法和 URL 就足夠了。其他時候,您還需要它的標頭、主體或表單參數。如果響應是 JSON,您可以直接加載它,而無需解析 HTML。
只重試安全的請求
HTTP 方法在發送兩次請求時的行為有所不同。MDN 定義一個方法為冪等,當多個相同的請求具有與一次請求相同的預期效果時:
- 安全重試:
GET、HEAD、OPTIONS、PUT和DELETE是冪等的。 - 不保證:
POST和PATCH不是,因此重試失敗的POST可能會創建重複的訂單、消息或記錄。 - 修復進行中: 一個 IETF 草案定義了一個
Idempotency-Key標頭,讓伺服器識別相同的POST的重試。它列出了 Stripe、Adyen 和其他已經使用類似標頭的公司。
對網頁抓取的意義
- 首先檢查 API: 官方或隱藏的 API 通常提供比 HTML 更乾淨的數據。
- 尊重文檔限制: GitHub 的更高限制適用於經過身份驗證的用戶,因此它遵循帳戶,而不是 IP。
- 重試讀取,而不是寫入: 自動重試在
GET請求上是最安全的。