データ分析の技術

「事実に基づくデータ」から「意思決定に有用な知識」へ——この変換こそがBIの本質です。データそのものは知識ではありません。売上明細が何万行あっても、それだけでは何も分かりません。集計し、比較し、傾向を読み取って初めて「知識」になります。

③ ビッグデータ

ビッグデータとは、大量でかつリアルタイムに発生する構造化および非構造化データ（半構造化データも含む）を蓄積し、それらを処理・分析するための技術の総称です。

近年は、デジタルデータの多様化に伴い、構造化データに加えて半構造化データならびに非構造化データの利活用の重要性が高まっています。

④ ビッグデータの全体像

ビッグデータの対象になるのは、たとえば次のようなデータです。

これらを集めたうえで、大量のデータ＋学習機能＋高速な判断によって、

• 異変を察知する
• 近未来を予測する
• 今を描き出す

ことを行い、その結果を

• 製品・サービスの改良
• 新たな販促活動の実施
• 営業活動の改善

につなげる、というのがビッグデータ活用の流れです。

⑤ 「3つのV」という整理

試験の定義文には出てきませんが、ビッグデータを説明するときによく使われる整理も知っておくと理解が深まります。

大量でかつリアルタイムに発生する構造化および非構造化データ——ビッグデータの定義は、この3つをそのまま並べた形になっています。

⑥ 中小企業とビッグデータ

「ビッグデータは大企業のもの」と思われがちですが、中小企業にも活用の余地はあります。

重要なのは、手元にあるデータから始めることです。第13章で学ぶIoTやAIも、結局は「どんなデータが取れるか」から出発します。診断士としては、顧問先がすでに持っているデータに気づかせることが、最初の助言になります。

いずれも社内の整った数値（構造化データ）を集計・比較しています。これが従来型のBIです。

ビッグデータで加えて分かること

映像、文章、音声といった「整っていないデータ」まで対象にしている点が違います。

なぜこれが可能になったのか

第1章で学んだ記憶装置の大容量化と、第13章で学ぶAI・機械学習の発達が、ビッグデータという概念を支えています。技術の進歩が、扱えるデータの範囲を広げたわけです。

確認してみましょう

> 次の記述の正誤を判定せよ。

> a　BIとは、企業内外の事実に基づくデータを蓄積、分類、検索、分析、加工して、意思決定に有用な知識を生み出す概念や仕組みである。

> b　ビッグデータは、構造化データのみを対象とする技術の総称である。

> c　BIを実現するためのソフトウェアをBIツールという。

解答　a：○　b：×　c：○

• b：×……ビッグデータは、構造化および非構造化データ（半構造化データも含む）を対象とします。むしろ、構造化データ以外への広がりが、ビッグデータという概念が生まれた理由です。

③ 表を読み解く——2つのトレードオフ

この表でもっとも重要なのは、行によって向きが逆になっている点です。

トレードオフ1：集めやすさ と 分析しやすさ

構造化データは集めにくいが分析しやすい、非構造化データは集めやすいが分析しにくい——ちょうど正反対になっています。

なぜでしょうか。構造化データを作るには、あらかじめ「この項目をこの型で持つ」と決めておかなければなりません。決める作業そのものに手間がかかり、決めた形に合わないデータは入れられません。だから集めにくいのです。

一方、監視カメラの映像や顧客からのメールは、何も決めなくても自然にたまっていきます。だから集めやすい。しかしその中身を機械が理解するのは難しく、分析には特殊な技術が要ります。

トレードオフ2：柔軟性

構造化データは、最初に決めた目的に合わせて作られているため、別の目的には使いにくくなります。「単価×数量」しか持っていない表から、顧客の感情を読み取ることはできません。

非構造化データは、形が決まっていないぶん、あとから別の目的に使える余地があります。監視カメラの映像は、もともと防犯目的で録っていても、あとから動線分析に使えます。

④ 半構造化データの位置づけ

半構造化データは、この両極の中間に位置します。

JSONやXMLは、タグやキーによって「どこに何が書いてあるか」が分かるので、機械が読み解けます。しかし、項目の数や階層はデータごとに違っていてよいので、リレーショナルデータベースの表のような窮屈さがありません。

この性質から、システム間のデータ受け渡し（WebAPI）やログファイルの記録に広く使われます。第2章で学んだCSVよりも表現力が高く、非構造化データよりも扱いやすい——この中間の位置が、現代のシステム連携でJSONやXMLが主流になった理由です。

なぜ基幹業務と分けるのか

基幹業務のデータベースは、日々の取引を記録し、更新することが目的です。ここで大量の分析用の問い合わせを実行すると、本来の業務処理が遅くなってしまいます。

また、基幹業務のデータベースは正規化されており（第6節）、分析のたびに多数の表を結合する必要があります。分析には向いていないのです。

だから、分析専用の場所を別に用意する——これがデータウェアハウスの発想です。

② データマート（DM：Data Mart）

データマートは利用目的を限定し、利用ユーザを限定した使い方をするもので、データウェアハウスから必要なデータを抽出し、利用しやすい形式で格納したデータベースです。

> データウェアハウスは膨大なデータ項目、データ量をもつデータベースであり、すべてのユーザがすべてのデータを必要としているわけではありません。データマートはあくまでデータウェアハウスの整合性のとれたデータから作るものであり、その逆はありません。

名前の由来……warehouse（倉庫）に対して mart（小売店）。大きな倉庫から必要なぶんだけ取り出して並べた売り場、というイメージです。

「その逆はない」という一文が重要です。データマートを寄せ集めてデータウェアハウスを作る、という順序は成り立ちません。整合性のとれた大元があって、そこから切り出すという向きです。

③ ODS（Operational Data Store：オペレーショナルデータストア）

ODSは、基幹系システムのデータ（オペレーショナルデータ）を、検索など別の目的で利用するためにそこから抽出し、一時的にデータを保持するデータベースのことです。

異なる基幹系システムからのデータを統合することで、現在の出荷状況や顧客のリアルタイム分析などが可能となります。また、基幹系システムからデータウェアハウスへデータをロードする際の中間データベースとしても活用されます。

④ データレイク

構造化データ・半構造化データ・非構造化データを含む多様なデータをそのままの形式で格納する一元化されたリポジトリ（データやプログラムの情報が納められたデータベース）です。

データをそのままの形で保存できるため、スキーマをあらかじめ定義する必要がなく、データを構造化しておく必要がありません。また、データの可視化、ビッグデータ処理、リアルタイム分析、機械学習など、さまざまなタイプの分析を実行し、的確な意思決定に役立てることができます。

⑤ データウェアハウスとデータレイクの違い

「倉庫」と「湖」という名前の対比が、そのまま性格の違いを表しています。倉庫は棚に整理して入れる場所、湖は川から流れ込んだ水がそのままたまる場所です。

⑥ データスワンプ

どこにどのようなデータがあるかわからず、欲しいデータを捉えることができない状態です。

swamp は「沼」という意味です。湖（レイク）が管理されないまま放置されると、沼（スワンプ）になる——という皮肉を込めた名前です。

データレイクは「とりあえず何でも入れておけばよい」という手軽さがある反面、何がどこにあるかの管理を怠ると、使い物にならなくなります。データをためること自体が目的化してはいけない、という戒めの用語だといえます。

⑦ 4つを流れで並べる

データレイクはこの流れとは別に、加工前の生データを何でも受け止める場所として位置づけられます。そして管理を怠るとデータスワンプになります。

④ 4つを2組に分けて理解する

スライシングとダイシング

• スライシング……立方体を包丁で1枚切る。たとえば「広島での断面」を取り出して、雑貨・化粧品・食品×1月・2月・3月の表にする
• ダイシング……立方体を転がして別の面を正面に持ってくる。「上からの視点」に変えれば、雑貨×東京・広島・福岡の表になる

dice はサイコロの意味です。サイコロを転がして違う目を出す、というイメージがそのまま名前になっています。

ドリルダウンとロールアップ

• ドリルダウン……「東京」の行を選んで、池袋・原宿・目黒という内訳に掘り下げる
• ロールアップ……逆に、店舗別の数字を「東京」にまとめて見る

drill（穴を掘る）で下へ、roll up（巻き上げる）で上へ。名前が動きを表しています。

⑤ ドリルスルー

ドリルスルーは、集計データから関連付けられた別のレポート（詳細ページなど）へのリンクやナビゲーションを指します。

ドリルダウンとドリルスルーの大きな違いは、ドリルダウンは同一データセット内で一段階より詳細なレベルに移動することであるが、ドリルスルーは別のデータセットにある関連情報にページ間を移動する点です。

売上の集計表から店舗別の内訳へ進むのがドリルダウン、売上の集計表から在庫のレポートへ飛ぶのがドリルスルー、というイメージです。

⑥ OLAPの3つの実装方法

OLAPには、3つの実装方法があります。

⑦ 3つの特徴を比べる

なぜこうなるのか

• MOLAP……あらかじめ多次元の形に集計してから保存するので、取り出しは速い。しかしその集計に時間がかかるため、最新のデータが反映されるまで時間差が生じます
• ROLAP……リレーショナルデータベースをそのまま参照するので、つねに最新。しかし問い合わせのたびに集計するので、遅い
• HOLAP……その中間

レスポンスとリアルタイム性は逆向き——これがこの表の読みどころです。頭文字の R・H・M の順に並べると、レスポンスは遅い→中→速い、リアルタイム性は優れる→中→劣る、ときれいに反転します。

ETLツールを使うと、データ形式や値の統一、異常値や欠損値の処理などが自動化されます。このように正確なデータを生成する処理をデータクレンジングとよびます。

② データクレンジング

多様な形式で蓄積されている生データに対して、データ形式統一、欠損値補完、単位統一などの処理を行い、横断的な解析ができるようにデータを整えることです。

具体的には、データの誤り、重複、表記の揺れなどを洗い出し、異質なデータ（外れ値など）を取り除いてデータの品質を高める作業などを指します。

cleansing は「洗浄」という意味です。汚れたデータを洗って使える状態にする、というイメージがそのまま名前になっています。

③ データクレンジングが必要な理由

複数のシステムからデータを集めると、必ず次のような不揃いが生じます。

これらを放置したまま集計すると、答えが狂います。「株式会社○○」と「（株）○○」が別の会社として集計されれば、取引先の数も取引額も実態と食い違います。

分析の質は、データの質を超えられない——この原則を押さえておくと、データクレンジングが地味に見えて実は要である理由が分かります。

④ データマイニング

データマイニングとは、大量のデータを分析して、これまで知られなかった規則性や傾向など、何らかの知見を得ることです。データマイニングで利用される具体的な分析手法には、相関分析などがあります。

mining は「採掘」という意味です。データという鉱山を掘って、価値ある鉱石（知見）を見つけ出すというイメージです。

OLAPとの違い

「こういう傾向があるのでは」と思いついて確かめるのがOLAP、「何か傾向はないか」と探させるのがデータマイニング——この対比で覚えると、両者を混同しません。

⑤ データマッピング

異なるシステム間において、同じ内容を示している項目同士を関連付けたり、割り当てたりするルールや処理のことです。

データマッピングを行うことで、一方のシステムの特定項目を変更すると、関連付けられた別のシステムの項目に自動的に反映されます。

たとえば、販売システムの「得意先コード」と会計システムの「取引先番号」が同じ相手を指している場合、この2つを対応づけておくことがデータマッピングです。

⑥ データマイグレーション

異なる種類のストレージ、フォーマット、コンピュータなどの間でデータを伝送することです。

migration は「移住・移行」という意味です。システムの入れ替えに伴ってデータを引っ越しさせる作業を指します。システム移行の話とつながる用語です。

⑦ 紛らわしい「データ○○」を整理する

この節には「データ」で始まる用語が数多く登場しました。まとめて整理しておきます。

場所・状態・作業のどれかで仕分けるのが、最初の手がかりになります。