それは日本の常識から考えると想像をはるかに突き抜けた突拍子もないものだった。アップルコンピュータが市販しているデスクトップ・パソコン,Power Mac G5を1100台かき集めてきて,それを高速ネットワークでリンク,スーパーコンピュータに仕立てよう,というのだから。

 仕上がったスーパーコンピュータ「System X(愛称:Big Mac)」は演算能力10.3テラ(テラは1兆)フロップス(1秒間に可能な浮動小数点演算の回数)を達成,見事2003年下半期のスーパーコンピュータ世界ランキング「TOP 500」の第3位につけた(注1)。特筆すべきはその開発コスト。システム構築にかかった経費は約520万ドル(約5億7000万円)。テラフロップス当たりたったの約5534万円。

注1:ドイツのマンハイム大学,テネシー大学,ローレンスバークレー国立研究所の研究者たちが年に2回,世界中のスパコンなどの大規模計算システムのデータを収拾し,計算性能上位500位を公表している(TOP500 SUPERCOMPUTER SITES)。1993年から現在公表している形式でランキングを行っている。更新は年2回。現在は2003年11月のランキングが公表されている。計算性能の比較はLINPACKベンチマークテスト。

 ちなみに,世界最高速を誇る日本の海洋科学技術センター(現海洋研究開発機構)の地球シミュレータが35.9テラフロップス(関連記事)。5年の歳月と約400億円を投じて完成したもので,1テラフロップス当たり約11億1400万円。2位のロス・アラモス国立研究所のASCI Qシステムは13.9テラフロップス,開発費は約2億1500万ドル(約234億円,1テラフロップス当たり約17億円)だ。これに比べるとバージニア工科大のSystem Xは二ケタも安い。

 なぜこんな破格のシステムが実現できたのか。来日したバージニア工科大学のテラスケールコンピューティング施設 副所長のKevin Shinpaugh博士にその秘密を聞いた。

――そもそもプロジェクトはどんな背景でスタートしたのですか?

Kevin Shinpaugh(以下KS):今,米国では国家レベルの研究所,大学を巻き込んで3つの大きなプロジェクトが進んでいます。

Kevin Shinpaugh博士 一つは大学間で科学技術分野のクラスタ・コンピュータ技術を高めて行こうというCSE(Computational Science and Engineering)イニシアティブ,そして40Gbpsの光ネットワークを全米にふたつ周回させつなぎ込んで行こうとするナショナル・ラムダ・レイル(National Lambda Rail),そしてNSF(National Sceinece Foundation:国立科学財団)が進める,テラフロップス施設を活用してより高度な科学技術基盤を作って行こうというサイバー・インフラストラクチャー・プログラムです。

 我々テラスケールコンピューティング施設(TCF)はこの3つのプログラムにスーパーコンピュータの構築で深くかかわっていくことを決めたのです。世界のトップ・クラスにランクされ,最先端技術を使い,10テラフロップス以上,そして今まさに手に入る製品を使って,できるだけ早く設備を完成させようという目標を立てました。

 しかも,我々は州立大学ですから連邦政府の研究機関のようなお金はかけられない。予算は約500万ドル程度でという高いハードルも設けました。これが成功すればNFSの資金を獲得することもできると踏みました。

――なぜ,G5それも,市販品を箱から出して組み立てるというとてつもない計画を実行することになったのでしょう。

KS:システムの基本的要件は64ビット・プロセッサ,プロセサあたり2GBのメモリー,ノード間の接続は双方向で20Gbps程度といったものを上げてシステム選定に入りました。ムーアの法則によると18カ月でパフォーマンスは倍になって行くわけですから,完成までにじっくり時間をかけるわけには行きません。ある時点で最高のものを設計したからといって,何年もかけていたのではスパコン・ランキングには入って行けません。システム選択が終わった後6カ月以内に完成させるんだと決意しました。

 事前調査段階の2003年2月にはDellとIntelにItanium 2ベースのシステムを検討してもらいました。これはコスト面でバツ。5月にHP,これもItanium 2で検討しましたがコスト的にバツ。同じころIBMもOpteron,Itanium 2,そしてPowerPC 970で検討しました。前者2つはコスト的に無理,PPC970は2004年第1四半期にならなければシステム提供できないとなってバツ。6月にはSunのUltra SPARCを検討しましたが,パフォーマンス的に無理。

 OpteronベースのPCを町から買ってきて自分たちで作るというオプションも検討しましたが,10テラフロップスを実現するには1000ノードでは足りないということが分かって,断念しました。PPC970は2つの倍精度浮動小数点ユニットを持ち,1サイクルで乗加算命令が実行できます。同様の機能はOpteronは持っておらず,Itaniumは同じ仕組みを持ってはいますが価格が高くなりすぎました。

 理論上,1GHz動作のCPU1個当たりで考えた場合,PPC970は8Gフロップ,Itaniumでは6Gフロップス,Opteronでは3Gフロップスとなることが分かりました。しかも,PPC970なら電力消費量,発熱も低く押さえられる。これはPPC970しかないと考えたわけです。

 ちょうどそんなときですね。6月24日,アップルがG5のデスクトップ・マシンをサンフランシスコのWWDC(世界開発者会議)で発表したのです。我々が狙っていたチップが使われており,製品は8月に出荷される。まさに,もってこいのタイミングでした。

――それですぐに発注をかけたわけですね。

KS:はい,1100台すぐにくださいと。6月23日のG5発表を聞いた後,すぐに検討を開始して,7月12日にアップルに発注をかけました。アップルはその発注を喜んでくれましたが,あらかじめ考えていた生産計画があり,すぐには出荷できないと言われてしまいました。世界中のユーザーに出荷するのが当初の生産計画だから。

 結局,巨大なトラックに詰まれたG5が納品になったのは9月の5日でした。それまでに我々はこのためのデータ・センターを改修し,ラックを設計,冷却装置を設計・製作,8月には本格的な工事をスタート。データ・センターに冷却水などを引き込む工事を行い,9月23日には火入れしました。10月に入ったらパフォーマンスの最適化,11月には実際のアプリケーションが動かせるまでになりました。

――猛烈なスピードでプロジェクトが進んだのですね。8月の工事スタートからシステム調整完了まで3カ月。信じられないスピードですね。
同大学のWebサイトにはデータセンターの基礎工事からアセンブリ,稼働までの様子を仔細に撮影した写真集も公開されているからぜひご覧いただきたい。)

KS:データ・センター担当のプロジェクト・リーダーとしてこれは素晴らしいチャレンジでした。建築業者に最初に相談したときにはこれだけの工事をするには少なくとも6カ月はかかると言われました。でも,そこを何とか6週間でやってほしいとお願いしました。6カ月と6週間では話にならないとあきれられましたが,我々にとってはそれが必要でした。

 工事を開始してからも,作業員たちはブーブー文句を言っていましたが,このプロジェクトの意義が理解されるようになってからはみんな必死になって協力してくれました。1日12時間連日働いてくれました。冷却パイプの溶接,冷却水・電力のビルへの引き込み,ラックの据え付け,冷却装置の組み立て,システムの設計,ソフト開発,電源装置の組み込み,まさにそれぞれがクリティカル・パスを構成する仕事でしたから,スケジュール通りに動かさなければ期日通りに完成させることはできません。

 スーパーコンピュータを処理速度順にランク付けする“Top 500リスト”の登録締切りが,10月に迫っていた。土木工事が進む一方で,ノードを高速で結ぶInfiniBandのドライバ・ソフトをイスラエルのMellanox社の技術者が,高速の演算ライブラリBLASのG5への最適化をテキサス大学オースティン校の客員科学者である後藤和茂氏が急ピッチで進めた。さらに,このプロジェクトを率いたアーキテクトのSrinidhi Varadarajan博士は,どれかノードがダウンしても,それまでの演算結果を無駄にせずに他のノードにシームレスに引き継げる「Deja Vu(デジャブ)」を開発した。

 ノードのインターコネクトにはMellanox社のInfiniBandを採用しました。10Gbpsの通信を双方向で行えますからポートごとに20Gbps,これをちょうど木のような構造につないで行きました。全体では46Tbps,現在のところこれは世界第2位のパフォーマンスをたたき出しているということになります。

 システムはMac OS X(10.3.2)。InfiniBandのノード間制御をするインタフェース・ライブラリにはオハイオ州立大学のMVAPICHを使いました。MVAPICHはLinux向けに書かれたものでしたが,Mac OS XがBSDベースのシステムだったため,移植は簡単でした。

――そして独自のクーリング・システムを構築されたわけですね。

KS:Liebert社はこうした特殊な設備の冷却装置の開発に素晴らしいノウハウを持った会社ですが,箱に入ったPower Macintosh G5,1100台分から排出される熱を効率良く冷却するには,それこそさらに特殊な工夫を加える必要がありました。

 6列のラックにはそれぞれ200台のマシンが格納されています。一個の棚には12台のG5が積み上がっています。その天井近くにラック・マウント型の熱交換器を組み込み,そこに特殊な冷媒を使った冷却水を回すというハイブリッド・システムです。こうした設備を動かすために,1.5MWの電力,250トンの冷却水を追加導入しました。

――9月にはいよいよG5がアップルから納品されたわけですが,写真を見ますと,きれいな箱に入っていて,町で売っているのと同じパッケージのように見えます。

KS:はい,まさにお店の棚に置いてあるのと同じです。1100個のキーボード,1100冊のマニュアル,実際には使わないものもたくさんありました。しかし,アップルの生産ラインから直送されるのですから,仕方ないですね。届いたG5を箱から出し,InfiniBandのネットワーク・カードを挿し,輸送による初期不良などが無いかどうか実際に動かして試してみるという作業を行いました。

 これらの作業は学生にやってもらいました。報酬? ありませんよ。だってコンピュータ・サイエンス専攻の学生にとって,「スーパーコンピュータを作る」というのは大変有益な「授業」でしょ? 私たちの授業は「コンパイラを作る」「CPUを作る」「超並列コンピュータを設計する」というものなのですから。

 強いて報酬といえば,ピザとTシャツがありました。州立大学ですので,ビールは出せませんでしたけど。(笑)

――しかし,市販のデスクトップ・マシンで作ればスペース的にも,機材の無駄もたくさん出ます。ラック・マウントのサーバーなどの選択肢は無かったのでしょうか?

KS:バージニア工科大学がG5の発注を決めたときには,デスクトップ型のマシンしかありませんでした。ラック・マウントのX ServeはG4でしたから我々の要件に合いません。

 しかし,今年1月7日,2GHzのデュアルCPUを積んだXserveが発表されました。現在,システムはXserve G5に入れ換え中です。これにより,設置面積は1/3に節約できますから,残りの空いたスペースにさらに他のクラスタ・マシンを入れられます。いらなくなったG5はどうしたかって? MacMallで売っぱらっちゃいました。(笑)

 現在,この手作りスパコンは学内からのナノテク/高分子化学/生化学/分子生物学などの実験・研究活動に演算能力を提供するとともに,米国エネルギー省,NASA,国立航空宇宙研究所(National Institute of Aerospace),国家安全保障局(NSA)などからの利用要請にも応えています。こうした活動が実を結べばSystem Xに投じられた開発費は完全に回収できる上に,利益さえ生み出せると考えています。

(林 伸夫=編集委員室 主任編集委員)