API(アプリケーションプログラミングインターフェース)とは、あるソフトウェアが別のソフトウェアと通信するための定義されたルールのセットであり、アプリケーションがデータを要求し、構造化された形式(例:JSON)で交換できるようにします。生のHTMLを解析する必要はありません。サイトがAPIからデータをロードする場合、Scrapyのドキュメントでは、そのリクエストを再現することが推奨されており、構造化された完全なデータを最小限の解析時間で提供します。

一部のプロキシおよびデータ抽出プロバイダーは、プロキシインフラストラクチャと組み込みの解析を組み合わせた独自の「スクレイパーAPI」を提供しており、実質的に非構造化されたウェブサイトを顧客の代わりに構造化されたAPIレスポンスに変換します。

公開APIは、そのレート制限や認証要件を文書化することができます。たとえば、GitHubのREST APIドキュメントでは、時間ごとのリクエスト制限を公開しています。

関連用語