「発表者が自分よりも若い人ばかりだ」。外見が20代にしか見えない東京工業大学の首藤一幸准教授(1973年生)の驚くさまが、少し面白かった。2009年2月20日の夜、多くのWeb企業が注目する「キー・バリュー型データストア」を開発する若手技術者が、東京・六本木のグリー本社に一堂に会した。

 キー・バリュー型データストア(またはキー・バリュー型データベース)は、大量のユーザーとデータを抱え、データベースのパフォーマンス問題とコスト高に頭を悩ませるWeb企業が注目する技術である。記者は同日に開催された「Key-Value Store 勉強会」に参加させてもらった。午後7時から11時まで、キー・バリュー型データストアを開発・研究する若手技術者が立て続けに登場し、1人15分の持ち時間で成果を発表し、議論を重ねるという集まりだ。

 呼びかけ人であるプリファードインフラストラクチャー(PFI)最高技術責任者(CTO)の太田一樹氏は、CTOと東京大学大学院生を掛け持ちする23歳。他の発表者も総じて若い。

 勉強会では、筆者の先日の記事「無いから作った人たち」で取り上げた「Tokyo Cabinet」と「Tokyo Tyrant」を開発するミクシィの平林幹雄氏や、「ROMA」を開発する楽天の西澤無我氏、「Flare」を開発するグリーCTOの藤本真樹氏も登壇した。平林氏と藤本氏は30代前半、西澤氏は20代後半。彼らが開発するシステム基盤技術が、巨大Webアプリケーションを支えているのだ。

「システム基盤技術に対する研究意欲は衰えていない」

 記者にとって驚きだったのは、現在日本で開発されているキー・バリュー型データストアがこの3つに留まらないことだった。しかも開発者は総じて若い。勉強会に参加する80人近くの技術者も、ほぼ同年代だった。東工大の首藤准教授は「システムソフトウエアのこんな突っ込んだ話に食いつく若者たちが実はこんなにいる」と、日本におけるシステム基盤技術に対する研究開発意欲が決して衰えていないと力説する。

 例えば、携帯電話向けシステム基盤開発に強いKLabに所属する安井真伸氏らは、分散メモリーキャッシュ「memcached」にレプリケーション機能を備えた「repcached」を開発する。全文検索エンジンの「Senna」を開発する未来検索ブラジルの末永匡氏らは、Sennaの後継技術としてバックエンドのデータベース・エンジンとしてキー・バリュー型を採用する「Groonga」の開発を始めた。山田浩之氏が開発する全文検索エンジン「Lux Search Engine」のデータベースも、「LuxIO」と呼ぶキー・バリュー型データストアだ。

 NTT未来ねっと研究所の井上武氏らは、米Amazon.comのキー・バリュー型データストアである「Amazon Dynamo」を公開論文で研究して、Dynamoとほぼ同じ機能を持つ「Kai」をオープンソース・ソフトウエアとして開発する。いわばDynamoのオープンソース実装である。米Googleの「Google File System」や「MapReduce」にも、「Hadoop」というオープンソース実装が存在する。ちなみに今回の勉強会を呼びかけたPFIの太田氏は、Hadoopの解析資料の著者として知られている。

 ファイルの入出力に特化したいわゆるストレージとして、キー・バリュー型データストアが利用できないか模索する人たちもいる。Fillotという企業の研究理事である上野康平氏らが開発する「Cagra」や、筑波大学3年生の古橋貞之氏が開発する「kumofs」などである。上野氏が所属するFillotは、情報処理振興事業協会(IPA)の未踏ソフトウェア創造事業で、28歳未満の若手を対象とした「未踏ユース」にかかわった学生らで立ち上げたベンチャー企業だ。

大量のデータを処理するパフォーマンスを求める

 GoogleやAmazon.com、Yahoo!、Microsoftもキー・バリュー型データストアに注目する。「Google App Engine」や「Amazon SimpleDB」、「Windows Azure」といったクラウド・コンピューティングのプラットフォーム・サービスの基盤技術として使われている。

 1月には「Last.fm」という音楽サービスを提供する英Last.fmの共同創立者であるRichard Jones氏が「Anti-RDBMS: A list of distributed key-value stores」というブログ記事を公開。現在世界中で開発されているキー・バリュー型データストアをリストアップし、大きな話題になった。