ビジネスや公共システムの分野でビッグデータの活用が話題になっている。ビッグデータの典型は、SNS（ソーシャル・ネットワーキング・サービス）の書き込みやWebサイトのアクセス情報、交通ICカードの利用情報などで、これらのデータは量が膨大で種類がまちまちなうえ、時々刻々増えていく。
設計図が公開され、だれでも無償で利用できるオープンソース・ソフトウエアとして開発された「Hadoop（ハドゥープ）」を使うと、パソコン・サーバーを数十台から数千台使って、ビッグデータを効率的に並列処理するシステムを現実的な価格で構築できる。
パソコン・サーバーの台数こそ多いものの、1台1台は安価であるため、システム全体の構築費用を同等性能の従来システムの半分以下に抑えられる。処理能力はサーバー台数におおむね比例するので、最小限の台数でシステムを構築して利用を始め、データ量の増大や予算に合わせてサーバーを追加すれば処理能力を後から増強しやすい。
こうした特徴を持つHadoopによって、ビッグデータの解析システムを比較的安価に構築できる環境が整った。性能増強の容易さも含め、ビッグデータ活用に企業が乗り出す原動力の1つになっている。
従来ビッグデータを扱おうとすると、高速なプロセサを搭載したコンピュータや大量のメモリー、大容量かつ高速な記憶装置を最初から用意する必要があった。高額の初期投資が必要になることから、企業は導入に二の足を踏みんでいた。
ネット企業から一般企業へ広がる
Hadoopを作り始めたのは、米ヤフーなどに在籍していた有志の技術者の集まりで、彼らは米グーグルの技術者が公開した論文を元にして開発した。こうした経緯から、当初は米ヤフーや米フェイスブック、国内では楽天やDeNA、リクルートといったネット企業が検索エンジン用索引データの作成やユーザー利用履歴の整理などにHadoopを使い始めた。
その後、SNSに集まる書き込み（つぶやき）を解析してマーケティングに利用、ポイントカードの利用情報から売れ筋商品を抽出、Web通販サイトの顧客行動に基づいて商品を推奨、といった取り組みに一般企業が利用するようになった。消費者が日頃接する各種サービスの裏で多数のHadoopシステムが動いている。
公共性の高いビッグデータの分析にもHadoopは使われ始めた。NTTドコモが2013年10月1日からデータの正式提供を始めた「モバイル空間統計」がその1つである。同社の携帯電話機の位置情報などを基に、特定の場所や時間にそこにいる人の年齢層や性別といった統計データを生成、提供する。
NTTドコモはモバイル空間統計の顧客として、一般の企業に加え、政府や自治体、公共機関などを見込んでいる。このデータは公共交通サービスの最適化や公平性を担保した公園配置、市街地の活性化、災害対策の見直しといった検討に使えるからだ。
同社は大量データを集計し、販売可能な統計データを高速生成するシステムSteviaを持つ。Steviaは1000台強のサーバーとHadoopを組み合わせており、国内で稼働するHadoopシステムとしては最大級といわれる。
調査会社のIDCジャパンは国内のビッグデータ関連の市場が2013年に前年比41.9%増の293億円に拡大すると予測する。ビッグデータ利用が進んでいけば、その裏側でHadoopシステムが普及していくはずだ。
ビッグデータを使ったサービスとして、「犯罪が起こる前にその場に現れる警察官」「自分が欲しいものばかり揃えてくれるスーパー」「混雑に合わせて本数が自動的に増えるバス」などが既に構想されている。将来、もっと驚く便利なサービスがあちこちでHadoopを使って実用化されていくだろう。
