ビッグデータの３つの特徴
これらのデータはどんな特徴を持っているのでしょうか。
一般的には３つの「V」という言葉で説明されることが多いので、ここではそれを紹介します。
- データ流通量（Volume of Data）
- データの速度（Velocity Data）
- データの種別（Variety Data）
注目しておくべきは、ビッグデータに関してのデータ量について明確な基準はないことです。
あえて定義するとしたら一般的な手段では処理しきれない量があり、構造的には自動生成されたり、新たにデータ化された知見、広く一般に公開されるようになっているデータが新たな社会的資産になるほど膨大な量、とでもなるでしょうか。
それが１の流通量の意味です。
センサーや機器からもデータは自動的に瞬時に生成され、それがインターネットなどを通じて集められています。
従来の各種の統計調査や定期的に集められるデータとは違い、生成・収集にいたるまでの速度が格段に早いというのが２番目の速度の特徴です。
問題になるのは、３番目に取り上げられている種別です。
非構造化という言葉が使われますが、これは表計算やデータベースで使われるような整った形のものだけでなく、画像、動画、PDF、音声、テキスト、ワープロ文書、センサーが生み出す数値など、ありとあらゆる形式のデータが山のように集まってビッグデータを構成しているという意味です。
こうした特徴を持ったビッグデータから、社会問題の解決やビジネスの成功に役立つ知見を得ることができると期待されているので、情報通信白書も毎年のようにビッグデータに関する特集を取り上げているのです。
これに付随するように、このビッグデータを効率的に分析するツールとして取り上げられるのが人工知能（AI）であり、機械学習、ディープラーニングというキーワードであると理解すれば、大まかな流れをつかむことができるでしょう。
目の前にあるビッグデータ
ビッグデータの量的な定義はあいまいだと書きましたが、漠然と共通認識となっているデータ量の目安がないわけではありません。
それは、ローカルのパソコンや一般的なデータベースソフトでは処理しきれず、ネットワークでつないだコンピュータを使って、最新のデータベースを使うのに適したデータ量というものです。
実際にHadoopやNoSQLという仕組みに注目が集まるのは、大量のデータ処理という課題による要因が大きいと思われます。
しかし、課題解決に役立つビッグデータは、果たしてそれだけビッグなものばかりなのでしょうか。
あらゆる企業や団体には、日々蓄積されるデータがあります。
もちろん、あなたの身の回りにも存在します。
それは経理や販売の数値データだけではなく、社員が書く日報、統計、調査レポート、メール、取引先から提供される報告書など、コンピュータやセンサーがあるところで、データは常に生成され続けています。
それもまた、３つのVの条件を少しずついたしたビッグデータです。
ではなぜ、身の回りにあるビッグデータは奇跡を起こしてくれないのでしょうか。
事業を進める上でのデータ処理における課題について、いくつかのポイントを自らのビジネスに照らしてみてください。
- 目の前にあるデータをパソコンで使える形に処理できているだろうか。
- ローカルなパソコンで使える量のデータであったとしても、それを分析に使えているだろうか。
- ローカルなパソコンで分析できたとしても、それを意思決定すべき人間が理解できる形にしているだろうか。
- 処理、分析、経営判断した結果を現場に落とし込めているだろうか。
４つのどれか、もしくはすべてに何らかの障害があると感じていないでしょうか。
こうした問題を解決するのが、データを高度に分析する専門家であるデータサイエンティストやデータアナリストと呼ばれる人間ですが、その人数は、とても少ない状況にあります。
数の問題だけではなく、そうした専門家を社内で抱えられる、言い換えれば、データの処理分析に専門家を雇うだけの経済的なメリットを理解できている企業もまた少ないはずです。
事業部やプロジェクト単位のビジネスで利用するデータの量はそれほど大きくなく、データ分析によって業務改善、市場開拓の期待値が人件費をあきらかに上回るほどでない場合はなおさらです。
しかし、ビジネスの現場におけるデータ分析のニーズとは、むしろそのレベルのもののほうが多いのです。
現実のリアルなデータ分析とは、目の前にあるデータを、統計や表計算ソフトに多少心得のある担当者が試行錯誤しながら分析を試みる。
それで解決策が見つかればいいのですが、できない場合はデータが宝の山とわかっていても放置され、旧来の経験と勘の判断に委ねられます。
たとえうまくいった場合でも、担当者が変わったら新しい分析に対応できなくなります。
そんな状況は、誰もが日常的に目にしているはずです。こういう現場からのSOSを受けて、私たち専門家の仕事が生まれてくるのです。
