Salt Lake Cityで開催されたSC12において、Top500で1位を獲得したスーパーコンピュータ(スパコン)「Titan」が設置されているOak Ridge National Laboratory(ORNL)のコンピュータ施設のプロジェクトディレクタのBuddy Bland氏がTitanスパコンの状況について招待講演を行った。

Titanの状況について講演するORNLのBuddy Bland氏

前回のTop500 1位で、今回はTitanに抜かれたLLNLのSequoiaは、DoE(エネルギー省)の中のNNSA(National Nuclear Security Agency)のスパコンで、一般の科学者が使えるのは最初の半年程度のEarly Scienceと呼ばれる期間だけで、その後は貯蔵核兵器の有効性と安全性をシミュレーションで確認する国家機密の研究に使われることになる。

これに対してORNLのTitanは、同じDoEの傘下であるがOffice of Scienceの予算で作られておりエネルギー省だけでなく、企業や国家全体のために科学的なブレークスルーをもたらすことを目的とするスパコンである。従って、DoE傘下の研究所の研究員が使用するだけでなく、INCITEなどのプログラムを通じてスパコンを使う研究対象を大学や企業などから公募して計算機時間を割り当てる、というように科学技術の発展のために使われることになる。

Titanの目的はクリーンエネルギーの技術で米国のリーダシップを確保することと、科学やエンジニアリング分野で活発な活動を維持することである。(なお、このスライドを含めて以下のスライドはORNLのBland氏のSC12での講演資料を撮影したものである)

TitanはCrayのXK7を200筐体使う巨大スパコンであり、設置面積は404m2で、8.9MWの電力を消費する巨大システムである。そして、倍精度浮動小数点演算のピーク性能は27.1PFlopsで、内訳はGPUが24.5PFlops、CPUが2.6TFlops、メインメモリの総量は710TBとなっている。

なお、京コンピュータのコンピュータルームは約60m角で、LINPACK測定時の消費電力もTitanのはぼ1.5倍であり、京コンピュータと比べるとTitanはコンパクトと言える。

27.1PFlopsのTitanの諸元

Titanシステムのハードウェア構成

Titanの計算ノードは16コアのAMD Opteron 6270とNVIDIAのK20x GPUのペアで構成されており、メインメモリはCPU側に32GB、GPU側に6GBを搭載している。

アクセラレータであるNVIDIAのK20x GPUは、SC12に合わせて新発表となったもので、これまでのK20はSMXと呼ぶ64個の浮動小数点演算器を持つモジュールが13個(物理的にはSMXは15個チップ上にあるが、2個の不良を許容して歩留りを向上している)であったが、K20xではこれを14個に増加して、 K20では1.17TFlopsであったピーク演算性能を1.31TFlopsに向上したものである。また、メインメモリもK20は5GBであったが、K20xでは6GBに増強され、メモリバンド幅もK20の208GB/sから250GB/sに増加している。

NVIDIAのK20x GPU。14SMXを搭載し、1.31TFlopsのピーク性能を持つ

このスライドで興味を惹かれたのは、K20xボードの形状である。SC12の展示会場でもあちこちのブースでNVIDIAのTesla GPUとIntelのXeon Phiを展示していた。しかし、それらはすべてPCIカードに空気ダクトとなるカバーを付けた細長い形状のものであったが、このカードはサーバ搭載用にサイズを最適化したDense From Factorと呼ばれるもので、ヒートシンクも付属していない製品である。中央の大きなパッケージがKeplerチップで、その周囲に12個のGDDR5 DRAMが配置されている。その上の部分に並んでいる8個の白っぽいパッケージと黒い小さなパッケージはボルテージレギュレータと思われる。

CrayのXK7スパコンの各計算ノードはGeminiと呼ぶCrayの独自開発のインタコネクトチップを搭載しており、このチップが3次元の各方向に腕を出し、3Dトーラスの接続網を構成する。

XK7スパコンの計算ノード。青い箱がGemini LSIで6方向に腕がでている。また、GeminiはHyperTransportでOpteronに繋がり、OpteronからPCI ExpressでK20xに繋がる

Cray XK7のノードボードは左端に2個のGemini LSIが搭載され、それぞれが2計算ノードを担当する。そして、その右側の黒い部分にDRAMがあり、さらに右側に銅色のフィンがついたOpteronチップが縦方向に4個並んでいる。そして、右端の4個の銅色のフィンの下に、K20xボードがあるという配置になっている。

4計算ノードを収容するノードボード、それを24枚収容する筐体。そして、200筐体で18,688ノード、27PFlopsのTitanとなる

この4計算ノードボードが筐体に24枚収容され、筐体内の計算ノード、および、筐体間をGeminiインタコネクトで接続して3Dトーラス網を構成する。