刮取 API 是一種託管服務,可以為您提取網頁並通過一次 API 調用返回其內容。您只需發送目標 URL。該服務處理代理、瀏覽器渲染和反機器人措施,然後返回 HTML 或結構化 JSON。一些服務還會將頁面解析為命名字段,例如產品的標題和價格。
一些刮取 API 按請求計費,僅對成功的響應收費。某些服務還會在內部處理禁止,僅在無法在合理時間內避免禁止時返回禁止響應。
刮取 API 請求的工作原理
- 請求: 將目標 URL 發送到服務的端點,並附上您的 API 密鑰,這取決於服務,可以作為查詢參數或 HTTP 認證標頭。
- 選項: 參數可以啟用 JavaScript 渲染,選擇請求來自的國家,或在多個請求之間重用會話。
- 響應: 服務返回原始 HTML、瀏覽器渲染的 HTML、截圖或提取的 結構化數據。
- 異步作業: 對於大型批次,一些服務接受作業,返回狀態 URL 以進行檢查,並可以將結果發送到 網絡鉤子。
刮取 API 與官方 API
官方 API 是由網站所有者發布的,用於程序化訪問。它以文檔格式返回數據並設置明確的限制。例如,GitHub 的 REST API 允許每小時 60 次未經身份驗證的請求,對於經過身份驗證的用戶則為每小時 5,000 次。刮取 API 則是從為人類瀏覽器構建的頁面中工作。它可以訪問官方 API 不提供的公共數據。