ネット上で急増する「非構造化データ」 ビッグデータの活用がビジネスを制す

　野村総合研究所は、情報爆発とそれを引き起こすビッグデータの活用に取り組んでいる。そもそもビッグデータとは何だろうか。ビッグデータとは、既存の技術では管理できないほどにボリュームが増え、複雑化したデータのことを指す。

　ビッグデータのデータ構造は、業務データなどを扱う従来のRDBMS（リレーショナルデータベース管理システム）に格納できない非構造化データが大半を占める。非構造化データはネット上で急増している。世界で数億人が登録するFacebookやTwitterなどソーシャルメディアの利用拡大に加え、大容量の映像データのビデオサイトへの投稿が増えているからだ。

　このほか、コールセンターへの問い合わせ履歴や通話履歴、電力を制御するスマートメーター、定期券などで利用される無線ICタグや各種センサーも非構造化データである。企業でも非構造化データの活用は急増している。

　ビッグデータの活用が求められる背景には、予測分析のニーズの高まりがある。これまでデータを収集・分析して経営判断に役立てるBI（ビジネスインテリジェンス）など様々な取り組みがあった。1980年から90年代にかけて、自社で発生していることを数値データに基づいて判断するレポーティングや多次元分析が注目を集めた。その後、2000年代にはダッシュボードやスコアカードなどの技術を使ってビジネスを分析・把握するモニタリングへと発展した。

活用領域が広いビッグデータ 行動やパターンの分析に有効

　これまでのBIは「今、何が起こっているか」という現状を分析して経営を「見える化」するには有効である。だが、「これから何が起きるのか」といった将来を予測して必要な対策を講じるには限界がある。ビジネスの予測分析や最適化のためには、一段と膨大なデータ解析、つまりビッグデータの分析が必至になる。

　ビッグデータの活用領域は広い。インターネットやソーシャルメディアの業界がユーザーの行動解析やパターン分析の手法として使うほか、金融・保険業界がクレジットカードのリスク分析や不正利用の検出に役立てるという使い方ができる。

　ビッグデータの活用にはハードウエアとソフトウエアの技術の進展が欠かせない。ハードウエアでは、データを処理するCPUの高性能化、メモリーやディスクの大容量化・低価格化が進展している。ソフトウエア技術では、ビッグデータ処理に適した大規模並列処理技術や、非構造化データ解析に適した大規模分散処理技術などによって、テラバイトやペタバイト級のデータ処理が可能になっている。

　ビッグデータの分析基盤では、データ構造とそれに対応するDWH（データウエアハウス）技術が鍵を握る。これまでのRDBMSに格納される構造化データと、RDBMSに格納できない非構造化データがそれぞれ増加していることに対処していかなければならない。

　構造化データのビッグデータ化には、「In-Database Analytics」と呼ばれる仕組みを適用する。従来のBIは、ERPなどから必要なデータを抽出、変換してデータマートをつくる作業に時間がかかった。それにひきかえ、In-Database Analyticsはデータ分析機能をDWHに組み込み、データの抽出・変換の時間を短縮するとともに、超並列プロセッシング技術などを組み合わせて高速処理する。あらゆるデータを対象に分析が可能なため、予測分析モデルの精度が向上する。

非構造化データの対処には分散並列処理に強いHadoopで

　では、非構造化データにはどう対処すべきか。米国のグーグルが提唱するHadoop/MapReduceで対応すべきだと考える。分散処理に必要なファイルの分割・配付機能や処理結果の集計機能などを含んでいるため、ユーザーは複雑なプログラミングをせずに使うことができる。HadoopはRDBMSのような複雑な問い合わせ処理に不向きだが、分散並列処理に威力を発揮し、Webアクセスログの解析やPOSデータを使った売れ行きの分析といった非構造化データ処理やバッチ処理に適している。

　刻々と発生するストリームデータの対応も今後の大きな課題になるだろう。センサーやGPS（全地球測位システム）などリアルタイムのストリームデータは、これまでのBIのようなデータ処理では時間的に対応できない。そこで、あらかじめ定義したルールに基づき、時系列にリアルタイム処理する。カーナビやセンサーを組み合わせて、こうしたストリームデータの処理を道路の渋滞検出に応用することもできるだろう。

　ビッグデータの活用はこれからの課題であり、当社もチャレンジしているところだ。マーケティングやソーシャルメディアなどの分野に適用領域が広がると期待を集めているが、独自性の高いデータや分析モデルが他社との違いを出す要因になるのではないか。そして、顧客の業務やシステムを理解し、BI戦略の立案や高度な分析が実行できる人材も必要になる。

　今後のビジネスを大きく左右するビッグデータ。その活用に向け、企業のお役に立てることが当社の使命と考えている。