網頁解鎖器是一種管理型抓取服務,幫您處理反機器人措施,例如 CAPTCHA、瀏覽器指紋、重試和代理選擇,並通過單一端點返回目標頁面。您不需要自己調整標頭和輪換 IP,只需發送請求,服務便會計算如何獲得成功的回應。

一些提供商將同一類別稱為「網頁解鎖器」。這類服務可以作為代理端點使用,您可以在自定義請求標頭中傳遞選項,或通過 REST API。

網頁解鎖器處理的內容

  • CAPTCHA 和挑戰: 服務自動解決 CAPTCHA 和反機器人挑戰。
  • 標頭和指紋: 它設置請求標頭和瀏覽器指紋,以匹配真實用戶流量。
  • 重試: 失敗的嘗試會使用不同的配置進行重試,直到請求成功或服務放棄。
  • 代理選擇和輪換: 它選擇並輪換用於每個目標的代理。
  • JavaScript 渲染: 一些服務可以根據請求渲染 JavaScript,例如通過請求標頭。

網頁解鎖器與標準代理的比較

標準代理轉發您的請求,並將檢測處理留給您。網頁解鎖器在代理網絡之上添加了反機器人邏輯。一些服務僅對返回成功回應的請求收費。

輸出和限制

  • 輸出: 服務返回目標頁面,通常為原始 HTML。一些服務在您設置格式選項時可以返回 JSON。
  • 無瀏覽器自動化: 網頁解鎖器不適用於點擊、填寫表單或通過端點驅動無頭瀏覽器,如 Playwright、Selenium 或 Puppeteer。
  • 證書檢查: 當用作代理端點時,一些服務要求客戶端跳過該端點的 TLS 證書驗證。

相關術語