2011年にIT分野で注目度が高かった話題の1つが分散バッチ処理基盤「Hadoop」活用機運の高まりだ。海外でビジネス利用の事例が増えてきており、国内でも一部の先進企業で導入検討が進められている。2012年はますますビジネスへの貢献を念頭においた発表が盛んになるだろう。

なぜこれほどに注目されるのか？

　大きくは、Hadoopは「ビッグデータ」の実現手段の1つとして注目を浴びている。企業や消費者、あるいは各種機器がネットワークでやり取りする情報の増加を背景に、今後も大量の活動履歴などが蓄積されていく。それらを有効活用すれば、「異変を察知する」「近未来を予測する」といった分野で、人間の脳を超える正確さとスピードで意思決定できるロジックを開発できる可能性がある。

・「ビッグデータ」が注目される理由

・ビッグデータを迎え撃て…超高速化する「バッチ処理」

Hadoopが開く可能性

　Hadoopの具体的な用途については、今まさに提案や実験が相次いでいる。学術分野では既に実行環境を備えた大学がある。データ構造があまり明確でないログ情報を大量に抱える通信系企業やネットビジネス企業などでも、構造化データと組み合わせた分析を可能にするべく検討が進みそうだ。このほか、ヘルスケア分野における画像データなども、Hadoopにより活用が進むと期待される非構造データの一例である。工場設備の障害などの予兆管理なども「M2M」といった話題と併せて、2012年は進展するだろう。

　さらに、小売りチェーンでPOSデータを処理して日次の原価や利益管理に活用したり、交通流を解析したり、位置情報と組み合わせて燃費状況をカードライバーに通知するなど、高速バッチ処理を追求することでリアルタイムに近い新たな情報活用手法を生み出す期待もかけられている。

・1000万件のバッチを2分で実行

・技術が変えるITシステムの在り方

・ネット上で急増する「非構造化データ」活用がビジネスを制す

・ビッグデータ活用は事業戦略そのものだ

・北大が研究者向けにIaaS/PaaSサービスを開始、200TFLOPS以上

・Hadoop使う基幹系バッチ事例、ノーチラス・テクノロジーズが紹介

Hadoopを取り込むベンダーの動き

　当然ながらベンダーの動きも活発だ。企業が運用するのに必要なミドルウエアをパッケージ化したディストリビューションや、Hadoop活用を取り入れたクラウドサービス、分析操作が容易なフロントエンドツール、専用機などの製品化が進んでいる。また、Rubyなどの言語をHadoopと組み合わせるソリューションを検討する動きも出ている。

・日本IBM、表計算のように分析できる「BigInsights」

・富士通がビッグデータ分析・活用向けのPaaSサービス

・富士通、「ビッグデータ」向けクラウドなど下期に投入

・まつもとゆきひろ氏がノーチラスのチーフアーキテクトに就任

・オラクルの新アプライアンス、NoSQLとHadoopを標準搭載

・「オラクルのビッグデータはオープン」、米本社のDB製品開発総責任者

・米マイクロソフト、Windows ServerとAzure向け「Hadoop」

・日立、HadoopとインメモリーBIを組み合わせビッグデータを分析

・日立、ビッグデータとスマートインフラをメニュー化

その卓越したパフォーマンスを検証

　非構造データの処理にHadoopを生かす手法の追求はこれからの段階だが、構造化データの高速バッチ処理に特化した検証は既に進んでいる。今後は運用ノウハウの情報や、具体的な有効分野なども明らかになっていくだろう。

・12ノードまでほぼ比例して向上

・100万件では専用ツールが最速

専門カンファレンスが盛り上がる

　公に事例などが公開される場としては、国内では「Apace Hadoop」の国内コミュニティが主催するイベント「Hadoop Conference Japan 2011 Fall」、海外ではディストリビューターの米クラウデラが主催する「Hadoop World」などがある。引き続きこれらのカンファレンスからの情報にも注目していく必要がある。なお日経BP社も2012年2月末に「ビッグデータ EXPO」の開催を予定している。

・Hadoopカンファレンスが開催、支援サービスや先進事例が充実

・Hadoop World NYC 2011レポート ビジネス貢献に歩み出したHadoop