オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」を使ったシステムの開発や運用を容易にするOSSツールの開発が、日本国内で活発化している（表）。国内でのHadoop利用が増えるのに伴い、「アプリケーション開発が困難」といった不満を抱くユーザー企業が増え、それを解消するビジネスが成立し始めたからだ。2013年1月には東京で「Hadoop Conference Japan 2013 Winter」が開催され、各OSSの開発方針が明らかになった。

表●Hadoopの使い勝手を向上できる主な国産OSS
[画像のクリックで拡大表示]

　ノーチラス・テクノロジーズは、Hadoopで基幹系バッチ処理を行うフレームワーク「Asakusa Framework」で、リレーショナルデータベース（RDB）と連携する機能を追加する。Asakusaは、専用言語で記述したバッチ処理を、Hadoop独自の「MapReduce」のプログラムに変換して実行するフレームワークである。現在開発中の新版では、専用言語で記述したバッチ処理をSQLに変換し、RDBでも実行できるようにする。バッチ処理の内容によっては、Hadoopで処理する方が高速という場合もあれば、RDBの方が高速という場合もある。どちらがより高速かをAsakusaが自動的に判別して実行する。

　ブレインパッドは2012年9月に公開した「Huahin Framework」を、Hadoopの新機能である「YARN」に対応させる方針を明らかにした。Huahinは、データ分析を実行する上で必要なソフト部品を豊富にそろえたフレームワークで、MapReduceプログラムの開発工数を3分の1程度に削減できる。Apacheソフトウエア財団が開発を進めるYARNに対応することで、耐障害性の高いHadoopシステムを実現できる。

　Acroquest Technologyは、Hadoop専用の運用可視化ツール「halook」を2012年11月に公開した。halookは、HadoopやJavaVMのログを分析することで、性能のボトルネックを見つけ出すツールだ。Acroquestは1000ノードを超える規模のHadoopクラスターの構築を支援した経験があり、そこで得た知見をツールに組み込んだという。

　日本人エンジニアが起業した米トレジャーデータは、ログ収集ツール「fluentd」のレコード管理機能を強化する方針を明らかにした。異常値を含むレコードを正常なレコードと区別して保存する機能などを追加する。