2011年2月16日に理化学研究所(理研)で行われたHPCシンポジウムにおいて、理研の次世代スーパーコンピュータ開発実施本部の開発グループの横川ディレクタが「京」システムの開発状況を説明した。

図1 「京」の開発状況を述べる横川ディレクタ

次世代スパコンが公募で愛称を募集し、2010年7月に「京(英語名はK computer)」に決まったことは記憶に新しい。また、これに先立って2010年5月31日に神戸のポートアイランドに建設されていた計算センターの施設(図2)が完成している。そして、10月1日から8筐体の小規模システムの設置が開始され、11月のTop500ではLinpack 50.51TFlopsを達成して170位にランクインされている。

図2 施設の航空写真(出所:理研Webサイト)

図2の施設の航空写真は実は4つの建物があり、中央に見える四角い大きな建物が計算機棟である。そして、その右側に寄り添うように建っているのが研究棟である。計算機棟の奥に建っているのが熱源機械棟で、この写真の角度ではくっついているように見えるが、真上から見ると別のビルである。そして、左端に離れて建っている小さな建物が電力を受電する特高施設である。

図3 施設の概要

図4 冷却システム

図3に示すように、計算機棟は建設面積4300m2で、地下1階、地上3階(ただし、高さは地上6階の研究棟と同じくらい)である。1階はグローバルファイルシステム、計算ノード群は3階に設置される。そして、地下1階は1階のための空調機械室で、2階は3階のための空調機械室となっている。

特高施設は7万7000Vの高圧を受電し6600Vに変換する。受電容量は30MWである。普通の家庭は20～30kW程度であるので、1000～1500軒分の容量に相当する。熱源機械棟は吸収式冷凍機4台とターボ冷凍機3台を備えており、冷水を作って計算機棟に供給する。また、5MWの発電能力を持つコジェネを2台設置している。コジェネは都市ガスなどを使用して電力を発電すると同時に、冷凍機を動かすための熱を供給する。2台のコジェネが設置されているが、通常の稼働は1台で、もう1台は予備である。

計算ノードはCPUとICCというインタコネクト用のチップは水冷であるが、DRAMやローカルファイルシステムのHDDなどは空冷である。このため、図4に示すように、空気の冷却系と水冷の水を循環させる2つの冷却系をもっている。

システムの消費電力は公表されていないが、30MWの受電と5MWのコジェネの合計で使用可能電力は35MWである。当然、これにはある程度の余裕が含まれているので、実際の消費電力は最大30MW程度と考えられる。一般的に、電気代は1MWで年間1億円程度であるが、コジェネを使っているので5MW分はガス代となる。

横川ディレクタに質問したところ、コジェネを使っているので単純に受電電力量を機器の消費電力で割ってPUE(Power Usage Efficiency)を出すことができないが、PUEとしては1.4～1.6程度と考えているという。ということは大ざっぱに言って、機器の消費電力は20MW程度と考えられる。

図5 施設の地震、塩害対策

ポートアイランドは埋め立てで作られた人工島であり、そのままでは地盤が弱い。このため、図5に示すように、地下20mまでの埋め立て部分の地盤改良を行い、その地盤を支持層として2mの直接基礎を作っている。そして、研究棟と計算機棟は、積層ゴムや鉛ダンパー、U型鋼製ダンパーを設置し、震度6強レベルの大地震が起きても主要な機能は確保できるというSグレードの耐震設計となっている。また、海岸近くの施設であるので、計算機棟の外壁はアルミパネル、研究棟の外壁はガラスを基調として塩害に強い構造とし、重要な構造物には防錆対策を施している。

図6(左)と図7(右)ともに設置された8筐体システム(出所:理研Webサイト)

2010年10月1日から図6に示す8筐体システムが設置された。図6では5本の筐体が見えるが、中央の筐体はローカルファイルシステムのRAIDシステムであり、計算ノード筐体は左右の各2筐体である。そして、図7に見られるように、これと同じものが裏側にもあり、全体で計算ノードが8筐体のシステムである。

各計算ノード筐体は、中央に電源やI/Oノードが搭載され、上下にそれぞれ12枚のシステムボードが搭載されている。

図9 システムボードとSPARC64 VIIIfx CPUのウェハ

図9に示すシステムボードの写真で、右側の4個の銅色のヒートシンクがついているのがCPUで、左端に縦に4個並んでいるのが6次元のメッシュトーラス網を構成するICCチップである。これらのLSIは銅製のパイプで繋がっており、水冷されている。

1計算ノードはCPUとICC各1個で構成されるので、このシステムボードには4計算ノードが収容されている。1筐体にはこのボードが24枚収容され、全体で96計算ノードとなっている。各CPUのピーク演算性能は128GFlopsであり、96CPU/筐体×8筐体で、このシステムのピーク演算性能は98.3TFlopsである。

なお、2010年11月のTop500の登録ではコア数は3264となっており、8筐体全体の53%のコアしか動いておらず、ピーク性能52.22TFlopsのシステムでLinpack 48.03TFlops、ピーク比率92.0%という結果となっている。

Linpackで10PFlopsの目標を達成するには800筐体あまりを必要とするが、これらが揃って調整が済み、完成するのは2012年6月を予定している。ということで2012年の6月のTop500に性能が登録されるのは間違いないが、その前の2011年11月の登録について横川ディレクタに質問すると、可能であればやりたいとのことであり、納入と調整の進捗状況によるが、7カ月前倒しのTop500登録も有り得るという感じであった。