東京工業大学 学術国際情報センターは2017年2月17日、同センターで開催した記者会見で、2017年7月末完成予定の次世代スパコン「TSUBAME3.0」の仕様の詳細を明らかにした。以下、スライドを中心に紹介する。

TSUBAME3.0の全景図。15ラック構成で、各ラックに36個のブレード(計算ノード)を積んでいる。全体の理論演算性能は、16ビットの半精度演算で47.2ペタFLOPS。64ビット倍精度で12.15ペタFLOPSで、先代機「TSUBAME2.5」の2倍以上。
TSUBAME3.0の全景図。15ラック構成で、各ラックに36個のブレード(計算ノード)を積んでいる。全体の理論演算性能は、16ビットの半精度演算で47.2ペタFLOPS。64ビット倍精度で12.15ペタFLOPSで、先代機「TSUBAME2.5」の2倍以上。
[画像のクリックで拡大表示]
ノード間はOmni-Path光ネットワークで接続する。Omni-Pathの帯域は1回線当たり100Gビット/秒。1ノード当たりで4回線を備え、一般的なギガビットイーサネットの400倍の帯域に当たる。TSUBAME3.0全体のネットワーク帯域の総量は432テラビット/秒で、「これは全インターネット平均通信料の2倍に相当する」(東京工業大学 学術国際情報センターの松岡聡教授)。
ノード間はOmni-Path光ネットワークで接続する。Omni-Pathの帯域は1回線当たり100Gビット/秒。1ノード当たりで4回線を備え、一般的なギガビットイーサネットの400倍の帯域に当たる。TSUBAME3.0全体のネットワーク帯域の総量は432テラビット/秒で、「これは全インターネット平均通信料の2倍に相当する」(東京工業大学 学術国際情報センターの松岡聡教授)。
[画像のクリックで拡大表示]
TSUBAME3.0の計算ノードは、米インテルのXeon E5-2680 V4プロセッサを2個、米エヌビディアのTesla P100を4個搭載する。ノード内のGPU同士をNVLinkでつなぎ、さらに外部ノードのGPU同士をOmni-Pathでつなぐ。
TSUBAME3.0の計算ノードは、米インテルのXeon E5-2680 V4プロセッサを2個、米エヌビディアのTesla P100を4個搭載する。ノード内のGPU同士をNVLinkでつなぎ、さらに外部ノードのGPU同士をOmni-Pathでつなぐ。
[画像のクリックで拡大表示]
TSUBAME3.0は、ノードごとに水冷機構を備え、摂氏32度の温水を入れて冷却する(写真右上の管から温水が出入りする)。水は排出時に40度ほどになり、気化熱を利用した屋外の冷却装置で32度まで冷やす。温水を使う事で、日本の真夏でもコンプレッサなしで冷却することが可能になった。「冷却に効くのは、温度よりも湿度。日本の夏は、シンガポールのように湿度99%になることはないので、気化熱による冷却が効く」(米ヒューレット・パッカード・エンタープライズ SGI 最高技術責任者 兼 SVPのイン・リム・ゴー氏)。この水冷機構により、一般的なデータセンターの10倍以上という高密度実装が可能になった。
TSUBAME3.0は、ノードごとに水冷機構を備え、摂氏32度の温水を入れて冷却する(写真右上の管から温水が出入りする)。水は排出時に40度ほどになり、気化熱を利用した屋外の冷却装置で32度まで冷やす。温水を使う事で、日本の真夏でもコンプレッサなしで冷却することが可能になった。「冷却に効くのは、温度よりも湿度。日本の夏は、シンガポールのように湿度99%になることはないので、気化熱による冷却が効く」(米ヒューレット・パッカード・エンタープライズ SGI 最高技術責任者 兼 SVPのイン・リム・ゴー氏)。この水冷機構により、一般的なデータセンターの10倍以上という高密度実装が可能になった。
[画像のクリックで拡大表示]
CPUやGPUは冷却管に水を流して直接冷やしているが、メモリーなどの周辺部品については、ラック内に風の流れを作って冷却し、暖まった風を冷却管で冷やすことで、間接的に冷却している。風がラック外に出ることはない。この間接冷却の機構は、東工大の松岡教授からリクエストを受け、新たに作ったものという。米ヒューレット・パッカード・エンタープライズのイン・リム・ゴー氏は会見で「(TSUBAME3.0の共同設計は)ベリーベリータフなプロジェクトだった。SGIで27年仕事してきて最もタフだった」と語った。
CPUやGPUは冷却管に水を流して直接冷やしているが、メモリーなどの周辺部品については、ラック内に風の流れを作って冷却し、暖まった風を冷却管で冷やすことで、間接的に冷却している。風がラック外に出ることはない。この間接冷却の機構は、東工大の松岡教授からリクエストを受け、新たに作ったものという。米ヒューレット・パッカード・エンタープライズのイン・リム・ゴー氏は会見で「(TSUBAME3.0の共同設計は)ベリーベリータフなプロジェクトだった。SGIで27年仕事してきて最もタフだった」と語った。
[画像のクリックで拡大表示]