「Hadoopが使えるのはバッチ処理だけ。そんな印象はもはや過去のものだ」。「Hadoop」のディストリビューション(検証済みパッケージ)のベンダーである米ホートンワークスのロブ・ベアデンCEO(最高経営責任者)は、2014年6月に開催した「Hadoop Summit 2014」でこう強調した。
Hadoopの開発元であるApacheソフトウエア財団(ASF)が、Hadoopの標準的な処理方式「MapReduce」以外の方式に対応した「Hadoop 2」をリリースしたのは2013年10月。それから半年が経過し、Hadoopで利用できる処理方式は急速に増加している(図)。
特に重要なのは、バッチ処理用に作られたMapReduceと比べて、SQLクエリーや機械学習などの処理を高速に実行できる「DAG(有向非循環グラフ、Directed Acyclic Graph)」と呼ぶ技術を採用した並列処理エンジンが登場していることだ。