データ分析の技術

① BI（ビジネスインテリジェンス）の概念

BI（Business Intelligence）とは、企業内外の事実に基づくデータを体系的に蓄積・分類・検索・分析・加工して、各種の意思決定に有用な知識を生み出したり役立てたりする仕組みの総称です。これらを実現するためのソフトウェアをBIツールとよびます。BIツールの代表的な機能には、オンライン処理分析（OLAP）、業績管理、市場分析、販売分析などがあります。

② ビッグデータの分類

ビッグデータとは、大量かつリアルタイムに発生する構造化データおよび非構造化データ（半構造化データも含む）を蓄積し、それらを処理・分析するための技術の総称です。近年はデジタルデータの多様化に伴い、構造化データに加えて半構造化データならびに非構造化データの利活用の重要性が高まっています。

③ データウェアハウス（DWH）

データウェアハウス（DWH: Data WareHouse）とは、企業のさまざまな活動を介して得られた大量のデータを目的別に整理・統合して蓄積し、意思決定支援などに利用するために基幹業務用のデータベースとは別に作成するデータベースシステム環境のことです。

DWHの4つの特徴:

• 時系列に蓄積: データを時系列に蓄積し、過去のデータも保持する
• 一元化: データのネーミングルールや形式を統一して一元化する
• 参照専用: データの蓄積に主眼を置いており、格納されているデータは更新されない
• 意思決定支援: 経営判断や分析に活用することが主目的

④ OLAP（オンライン分析処理）

OLAP（Online Analytical Processing）は、BIツールの1つで、業績管理、市場分析、販売分析などの用途に使われます。DWHに蓄積されたデータを多次元的に分析するための技術で、以下の4つの操作があります。

⑤ OLAP実装方式

OLAPには3つの実装方式があります。

ROLAP（Relational OLAP）はデータストレージにリレーショナルデータベースを使用してオンライン分析処理を行う方式です。MOLAP（Multidimensional OLAP）はデータストレージに多次元データベースを使用してオンライン分析処理を行う方式です。HOLAP（Hybrid OLAP）はデータストレージにリレーショナルデータベースと多次元データベースの両方を使用してオンライン分析処理を行う方式です。

⑥ ETL（Extract・Transform・Load）

ETLとは、さまざまなデータソースからデータを抽出（Extract）し、扱いやすいフォーマットに変換（Transform）し、データウェアハウスに書き出し（Load）て統合して格納する処理です。これら3つの処理の頭文字をとってETLとよび、ETLを実施するにはETLツールとよばれるソフトウェアを用います。

⑦ データクレンジング

データクレンジングとは、ETLツールを使い、データ形式や値の統一、異常値や欠損値の処理などを自動化することです。多様な形式で蓄積されている生データに対し、データ形式統一、単位統一などの処理を行い、横断的な解析ができるようにデータを整えることを指します。具体的には、データの誤り、重複、表記の揺れなどを洗い出し、異質なデータ（外れ値など）を取り除いてデータの品質を高める作業などを指します。

⑧ データマイニング

データマイニングとは、大量のデータを分析して、これまで知られなかった傾性や傾向など、何らかの知見を得ることです。データマイニングで利用される具体的な分析手法には、相関分析などがあります。

⑨ その他の用語