ウェブアンロッカーは、CAPTCHA、ブラウザフィンガープリンティング、リトライ、プロキシ選択などのアンチボット対策を処理する管理されたスクレイピングサービスであり、単一のエンドポイントを介してターゲットページを返します。ヘッダーを調整したり、IPを回転させたりする代わりに、リクエストを送信すると、サービスが成功した応答を得る方法を考え出します。
同じカテゴリを「ウェブアンブロッカー」と呼ぶプロバイダーもいます。このカテゴリのサービスは、カスタムリクエストヘッダーでオプションを渡すプロキシエンドポイントとして使用することができ、またはREST APIを介して使用することができます。
ウェブアンロッカーが処理するもの
- CAPTCHAとチャレンジ: サービスは、CAPTCHAやアンチボットチャレンジを自動的に解決します。
- ヘッダーとフィンガープリンティング: リアルユーザーのトラフィックに合わせてリクエストヘッダーとブラウザフィンガープリンティングを設定します。
- リトライ: 失敗した試行は、リクエストが成功するまで異なる構成でリトライされるか、サービスがあきらめるまで行われます。
- プロキシ選択と回転: 各ターゲットに使用されるプロキシを選択し、回転させます。
- JavaScriptレンダリング: 一部のサービスは、リクエストに応じてJavaScriptをレンダリングすることができます。たとえば、リクエストヘッダーを介して行います。
ウェブアンロッカーと標準プロキシの違い
標準プロキシはリクエストを転送し、検出処理をあなたに任せます。ウェブアンロッカーは、プロキシネットワークの上にアンチボットロジックを追加します。一部のサービスは、成功した応答を返すリクエストに対してのみ料金を請求します。
出力と制限
- 出力: サービスは、通常、生のHTMLとしてターゲットページを返します。一部のサービスは、フォーマットオプションを設定するとJSONを返すことができます。
- ブラウザ自動化なし: ウェブアンロッカーは、クリック、フォームの入力、またはPlaywright、Selenium、Puppeteerなどのヘッドレスブラウザをエンドポイントを介して操作するために構築されていません。
- 証明書チェック: プロキシエンドポイントとして使用される場合、一部のサービスはクライアントに対してそのエンドポイントのTLS証明書検証をスキップすることを要求します。