スクレイパーAPIは、ホスティングされたサービスで、ウェブページを取得し、そのコンテンツを1回のAPIコールで返します。ターゲットURLを送信します。サービスはプロキシ、ブラウザレンダリング、ボット対策を処理し、HTMLまたは構造化されたJSONを返します。一部のサービスは、ページを製品のタイトルや価格などの名前付きフィールドに解析することもあります。

一部のスクレイパーAPIはリクエストごとに料金が設定されており、成功したレスポンスにのみ課金されます。また、一部は内部で禁止を処理し、合理的な時間内に禁止を回避できない場合のみ禁止レスポンスを返します。

スクレイパーAPIリクエストの仕組み

  • リクエスト: ターゲットURLをサービスのエンドポイントにAPIキーと共に送信します。APIキーはサービスによってクエリパラメータまたはHTTP認証ヘッダーに含まれます。
  • オプション: パラメータを使用してJavaScriptレンダリングを有効にしたり、リクエストがどの国から来るかを選択したり、複数のリクエスト間でセッションを再利用したりできます。
  • レスポンス: サービスは生のHTML、ブラウザレンダリングされたHTML、スクリーンショット、または抽出された構造化データを返します。
  • 非同期ジョブ: 大規模なバッチの場合、一部のサービスはジョブを受け入れ、ステータスURLを返し、結果をウェブフックに送信できます。

スクレイパーAPIと公式APIの違い

公式APIは、ウェブサイトの所有者によってプログラム的アクセスのために公開されます。文書化された形式でデータを返し、明示的な制限を設定します。たとえば、GitHubのREST APIは、認証されていないユーザーに対しては1時間あたり60リクエスト、認証されたユーザーに対しては1時間あたり5,000リクエストを許可します。一方、スクレイパーAPIは人間のブラウザ用に構築されたページから動作します。公式APIが提供しない公開データにアクセスできます。

関連用語