「誰が考えても、情報がべらぼうに多くなることは確か。じゃ、べらぼうに多いとは、どれくらい多いのだろう。今より10倍多いというのは、多いうちに入らない。僕らが考えるのは、ユニット（単位）が変わるところ。キロからメガ、メガからギガと1000倍になると、根本的に世界が変わる。だから、ゴールとして1000倍を目指そうと決めた」。
東京大学生産技術研究所教授の喜連川優氏は日立製作所と組み、これまでより1000倍速いデータ処理エンジンを2014年3月に向けて開発中だ。この研究開発は内閣府の「最先端研究開発支援プログラム」に基づいている。
「情報が膨大になって何が必要になるか。データが1000倍大きくなったら、エンジンを1000倍速くすれば、少なくとも前と同じことが大きなデータに対してできる。ところが、データが1000倍大きくなったのに、従来と同じテクノロジーを使って1000倍も時間がかかるなら、誰もやらない」。
利用者が動くようにするには「少なくとも3桁くらい速いものを作る」必要がある。「1000倍大きなデータを使ってもいいんだよ、と言えるような技術がなければ、ユーザーはそっち側に動かない」。
「もう一つ、IT屋、コンピュータ屋さんから見ても、1000倍という単位の切れ目を狙うことは、ものすごくエキサイティング。10倍や100倍ではだめ。1000倍の爽快感がある」。
これらが喜連川氏が1000倍にこだわる理由である。ビッグデータという言葉が登場する前から、喜連川氏は「情報爆発」という言葉を使い、「情報が爆発的に増えることで、サイエンス、インダストリー、そしてソサエティーが変わる」と主張し「情報爆発プロジェクト」や「情報大航海プロジェクト」を主導してきた。
「米国では科学技術政策局（OSTP）などが、ビッグデータ活用に向けた取り組みを進めている。だが僕らは、そうしたことをもうずいぶん言ってきた」。
「非順序型実行原理」で1000倍に挑む
1000倍を実現する技術的な裏付けとなるのが「非順序型実行原理」である。処理対象のレコードを見つけたら、必要な処理を並列に実行する。すべての処理が分散され、各レコードに対し、非同期で命令が出される。
つまり、欲しいデータがあるなら、処理を始める最初に要望を全部言おうという発想である。これに対し、一般のデータベースは「インオーダー（順序型）」で、ある命令を実行し、その命令が終わったら、次の命令を実行するということを繰り返す。
喜連川氏は、「非順序型実行の発想を持ったのは2005年ころのこと」と振り返る。そして「最初にアイデアを思いついたときは、うまくいくかどうか分からなかった」と続ける。非順序型実行原理で1000倍高速なエンジンに挑戦することにした経緯を喜連川氏は次のように説明する。
