オープンソースの分散バッチ処理ソフト「Apace Hadoop（以下、Hadoop）」の国内コミュニティが主催するイベント「Hadoop Conference Japan 2011 Fall」が2011年9月26日に都内で開催された（写真1）。第3回となる今回は、リクルートが会場提供と運営支援をすることにより、コミュニティ主催のイベントとしては異例の1000人規模の会場を確保（写真2）、月曜日にもかかわらず多くの参加者が午前10時の開始前から来場した。
米国のHadoopベンダー3社が基調講演
午前中に開催された基調講演では、Hadoopを使ったシステム構築を支援する、ベンダー3社が相次いで登壇。Hadoopの企業情報システムでの利用を前提に、「いかに簡単に構築運用できるか」を主なテーマに据えて、自社製品やサービスの最新動向を語った。
最初に登壇したのは、米ClouderaのTodd Lipcon氏（写真3）。同社はHadoopを使ったシステムの構築運用を簡単に行うためのディストリビューション「CDH（Cloudera’s Distribution including Apache Hadoop）」や設定ツール「SCM Express」などを提供している。「Linuxを使うときに、Linuxカーネルからシステムを構成する人がほとんどいないのと同様、Hadoopを使うときにも必要なソフトがあらかじめ組み込まれて手軽に導入できるディストリビューションを利用すべきだ」と主張した。
続いて米Hortonworksを創業したOwen O'Malley氏が登場。Hortonworksは、米Yahoo!のHadoop開発チームがスピンアウトして設立した企業で、講演においてもYahoo！でのHadoop活用事例を紹介した。さらに、Hadoopが企業でこれまで以上に使われるための課題として、「需要に応えられるだけの技術支援体制が必要」（同氏）と指摘（写真4）。そのうえで、自社がコミュニティと密接に協力しつつ、Yahoo!での実績に基づいて技術支援できることをアピールした。
基調講演の最後に登壇した米MapR TechnologiesのTed Dunning氏は、既存システムとHadoopを使ったシステムとの連携の難しさを説明（写真5）。その解決策として、自社開発した分散ファイルシステムを用いた独自Hadoopディストリビューションである「MapR」を紹介した。
MapRの分散ファイルシステムは「C++」で実装されたものであり、Javaで実装されたHadoopの分散ファイルシステム「HDFS」よりも性能が高く、Hadoopクラスターの管理ノードである「Name Node」の二重化なども実現しているという。MapRは米EMCにOEM供給され、EMCから「Greenplum HD」という名称で販売される予定。同日にはEMCジャパンが、Greenplum HDの日本第一号ユーザーとして、リクルートが同製品を採用したと発表した。
このように午前中の基調講演では、Hadoopの企業情報システムへの本格普及を見据えて、手軽に導入できるディストリビューションや技術支援サービスを提供する米企業の動向が紹介された。
