データ解析は、生のスクレイピングコンテンツ(HTML、JSON、XMLなど)から構造化された使える情報を抽出し、スプレッドシートやデータベースレコードなどのクリーンな形式に変換するプロセスです。解析は、生のスクレイピングされたウェブページを実際に使えるデータに変えるステップです。
一般的な解析アプローチ
- HTML解析ライブラリ(BeautifulSoupやCheerioなど)は、ページのDOM構造をナビゲートして特定の要素を抽出します。
- CSSセレクターまたはXPathクエリは、タグ、属性、またはドキュメントツリー内の位置によって要素をターゲットにします。
不正なHTMLの解析
実際のページには無効なマークアップが含まれていることが多く、パーサーはそれを同じように修正しません。Beautiful Soupのドキュメントでは、入力<a></p>がPythonのhtml.parserで<a></a>になり、lxmlで<html><body><a></a></body></html>になり、html5libで<html><head></head><body><a><p></p></a></body></html>として解析されることが示されています。これはブラウザのように解析します。ドキュメントでは、パーサーを明示的に名前付けすることを推奨しており、コードがすべてのマシンで同じ結果を出すようにしています。
JSONの解析
JSONレスポンスは、マークアップとして検索されるのではなく、オブジェクトに直接解析されます。JavaScriptでは、JSON.parse()がJSON文字列が記述する値を構築し、文字列が無効なJSONである場合(例えば、末尾にカンマがある場合やシングルクォートの文字列がある場合)にSyntaxErrorを投げます。