「Hadoopが使えるのはバッチ処理だけ。そんな印象はもはや過去のものだ」。「Hadoop」のディストリビューション(検証済みパッケージ)のベンダーである米ホートンワークスのロブ・ベアデンCEO(最高経営責任者)は、2014年6月に開催した「Hadoop Summit 2014」でこう強調した。

 Hadoopの開発元であるApacheソフトウエア財団(ASF)が、Hadoopの標準的な処理方式「MapReduce」以外の方式に対応した「Hadoop 2」をリリースしたのは2013年10月。それから半年が経過し、Hadoopで利用できる処理方式は急速に増加している()。

図●Hadoop関連プロジェクトの一覧(DAG:Directed Acyclic Graph)
次の焦点はリアルタイムSQLと機械学習
図●Hadoop関連プロジェクトの一覧(DAG:Directed Acyclic Graph)
[画像のクリックで拡大表示]

 特に重要なのは、バッチ処理用に作られたMapReduceと比べて、SQLクエリーや機械学習などの処理を高速に実行できる「DAG(有向非循環グラフ、Directed Acyclic Graph)」と呼ぶ技術を採用した並列処理エンジンが登場していることだ。