NTTデータ 基盤システム事業本部の猿田浩輔氏（写真1）が2015年6月17日（米国時間）、米Apacheソフトウエアファウンデーション（ASF）が開発を主導するオープンソースソフトウエア（OSS）の分散データ処理ソフト「Spark」の開発の中心メンバーである「コミッタ」に就任した。日本企業からSparkのコミッタを輩出するのはこれが初めて。
Sparkは、OSSの分散データ処理ソフト「Hadoop」の機能を補完するソフトとして、近年急速に注目が集まっている。Hadoopが大量データのバッチ処理に向いているのに対して、Sparkは機械学習のような高度なデータ分析を高速処理するのに向く。Hadoopの標準ストレージである「HDFS」に格納したデータに対して高速なデータ分析処理が実行できるため、SparkとHadoopを併用するユーザーが多い。2015年6月15日から17日までサンフランシスコで開催された「Spark Summit」では、米Uber Technologiesや米Airbnb、中国Baidu、トヨタ自動車の米国法人などが、Sparkの導入事例を発表している。
NTTデータは2014年から、Sparkを大規模環境で運用する検証などを行っている。猿田氏は、検証の結果分かったSparkの問題点などを改善する活動を進めており、その貢献が認められてSparkのコミッタに就任した。コミッタは、プログラムのソースコードに対する変更を承認する権限を持ち、OSS開発においてリーダー的役割を果たす立場だ。猿田氏が開発したSparkの運用状況を可視化する機能「Time Line Viewer」（写真2）は、ASFが6月11日にリリースした最新版「Spark 1.4」に搭載された。
NTTとNTTデータからは2014年12月に、3人のエンジニアがHadoopやその関連プロジェクトのコミッタに就任している（関連記事：NTT/NTTデータから3氏がHadoopや関連プロジェクトの「コミッタ」に就任）。NTTデータとしては、HadoopやSparkのコミッタを社内から輩出することを通じて、ビッグデータ処理基盤の構築/サポートに関する技術力を高める考えだ。
