三菱UFJ証券の伊藤秀和 市場商品本部研究開発部IT開発課長代理
三菱UFJ証券の伊藤秀和 市場商品本部研究開発部IT開発課長代理
[画像のクリックで拡大表示]

 「システム構築から、ベンチマークを終えるまでに与えられた時間は延べ3週間しかなかった」。三菱UFJ証券の伊藤秀和 市場商品本部研究開発部IT開発課長代理は9月12日、東京・有楽町の東京国際フォーラムで開催されたHPCカンファレンス2007の席上で、先ごろ発表になったスパコンTOP500にランクインしたシステムの開発秘話を明かした。

 三菱UFJ証券が構築したデリバティブ(金融派生商品)のリスク計算用システム「Centuria(センチュリア)」は今年6月、世界のスパコン性能を集計しているTOP500で193位に入った。金融機関としては、世界2位。システムは、日本IBM製のブレード・サーバーを448枚使用し、Xeonプロセサが1760コア、OSは「Windows Compute Cluster Server 2003(Windows CCS)」という構成だ。測定値性能は6.52テラFLOPSだった。

 TOP500に参加した理由は、「建前はシステムのベンチマークやデータセンターの温度対策テストだが、本当のところは自分たちが構築したシステムがどれくらい速いのか調べたいという好奇心だった」(伊藤 課長代理)という。

 TOP500への挑戦は、日本IBMとマイクロソフトが全面的に協力した。当初、業務に差し障りのないよう準備期間を3週間に設定したが、システムができあがった段階では、「ほとんど動かない、といってもいいくらい遅かった」(伊藤 課長代理)。日本IBMの箱崎営業所に検証環境を構築して原因を探ったが分からない。最終的には、米マイクロソフトからWindows CCS担当のエンジニアが急遽来日して調査したという。

 その結果、64ビットWindows CCS用のネットワーク・ドライバと、プロセサ間のデータ通信仕様「MS-MPI」の相性が悪く、ボトルネックになっていたことが判明した。だが、ドライバの改修をしている時間はない。「やむを得ず、パラメータのチューニングで問題に対処することにした」(伊藤 課長代理)という。

 実際に1760コアを使用した環境でベンチマークを取り始めたのは、期限の5日前。連日チューニングを繰り返した結果、5日間で測定値性能を3.022テラFLOPSから2倍以上の6.521テラFLOPSに引き上げた。

 TOP500は、自社のシステムのベンチマークをとって応募するという「自己申告型」のランキングである。そのため、伊藤課長代理は「米国のウォール・ストリートにある投資銀行は、1万を超えるコア持つシステムを構築している。今後は我々もそれに並ぶシステムを構築することを目標にしたい」と話していた。