SC11 - 論文発表やワークショップと並び重要な各社の展示

液冷システムの台頭

富士通の「京」やFX-10、そしてIBMのPOWER 775、BlueGene/Qも水冷であるが、HPCサーバの発熱密度の増大から、空気ではなく液体を使って冷却するシステムが増えてきている。

イタリアのEurotechのAuroraシステムは、写真に見られるように筐体の前面が液晶パネルになっており、綺麗な動画などを表示している。もちろん、この表示は単なる飾りで計算処理には役立たないが、こういうものを付けようと思うのがイタリアのファッションセンスで、日本のメーカーでは考えられない。

CPUはSandy Bridge EPで他のメーカーと同じであるが、ブレードのプリント基板に、写真ではこげ茶色に見えるアルミの削り出しのコールドプレートがついている。そして、コールドプレートは内部を水が循環するようになっている。

そして、フランスのBullも水冷のブレードを使うBullx DLCというシステムを展示していた。アルミ削り出しのコールドプレートでCPUなどを冷却するのはEurotechのAuroraと同じであるが、DIMMは上に突き出しており、間に金属の伝熱板を挟んでコールドプレートに熱を逃がしている。

水冷ではコールドプレートを発熱の多い部分に接触させるため、POWER 775や京のようにLSIごとにコールドプレートを設けて接触させたり、EurotechやBullのようにプリント板に搭載された部品の高さと形状にあわせて削り出したコールドプレートを使う必要がある。また、コールドプレートを接触させられない部品は空気で冷却したり、伝熱板を作ったりという手間がかかる。

こんな手間を掛けるくらいなら、直接、プリント板を液体に漬けてしまえば良いというのが浸漬液冷である。この場合、液体としては電気を通す水を使うことはできない。ということで、浸漬する液体としてはミネラルオイルが使われる。オイルといっても無色透明で粘り気も少なく、かなりサラサラとした感じの液体である。

Hardcore Computerのシステムはブレードごとに密閉した構造になっていて、内部にミネラルオイルが入っている。そして裏側にはコネクタがあり熱を吸収して暖まったオイルを取り出して空冷や水冷して、ブレードに戻すというシステムが出来ている。

Green Revolution Coolingのシステムはもっと原始的というか豪快で、ミネラルオイルの入った槽にバックプレーンごとプリント板をジャブ漬けしてしまう。もちろん、電子回路の発熱でオイルが暖まるので、オイルを外部に取り出して冷やして循環させる機構がある。あまりハイテクでは無いが野武士のように実用的という気がする。

SCには大学生のチームがLINPACKと指定された科学技術アプリケーションの性能を競うStudent Cluster Competition(SCC)という競技がある。消費電力はAC120Vの電源コンセントから26A以下という制限内であれば、どのような機器を使っても構わない。今回、テキサス大のチームがこのGreen Revolution Coolingのオイル槽を使い、5%～15%電力効率を改善できるという触込みであったが、残念ながら優勝することはできず3位に終わった。もちろん、これはGreen Revolution Coolingの技術が悪かったという訳ではなく、CPUだけを使うテキサス大のシステムが、GPUを使った1位、2位のチームに及ばなかったということであろう。

Intel

Intelは、現在はスパコンを作ってはいないが、各社にCPUだけでなく、リファレンスボードの設計情報も供給している。また、サーバやワークステーションのボードの販売も行っている。ということでこれらのボードを展示していた。

Microsoft

シアトルはMicrosoftの地元である。しかし、他の都市での開催の時と変わらず、展示場の中央の通路という一番良い場所にブースを構え、Azureやその他のHPCアプリケーションを展示していた。

中国の台頭

中国は、Top500に2位の天河1Aを始めとして74システムをランクインさせているスパコン大国であるが、上位のシステムはIntelのCPUにNVIDIAのGPUというように、米国のプロセサを使っている。しかし、今回、ついに、国産の「SW1600」というプロセサを使う「Sunway Blue Light(神威藍光)」というシステム開発し、ピーク性能1.07PFlops、LINPACK性能795.9TFlopsでTop500の14位に入った。

この神威藍光の実物は展示されなかったが、China Computer FederationのTechnical Committeeという団体がブースを構え、2枚のパネルを展示していた。

CPUであるSW1600は65nmプロセスで製造される16コアプロセサで、クロックは0.975～1.1GHz、ピーク性能は140.8GFlops(@1.1GHz)である。そして、消費電力は35～70Wとなっている。命令セットはSW64と書かれているが、噂によるとDECアルファの命令セットをベースにしているという。

神威藍光は1筐体にSW1600 CPUチップを1024個収容するという高密度実装を行っており、大型の筐体ではあるが、計算ノードは9筐体に収まっている。そして、インタコネクトはQDR InfiniBandを使うFat Treeで、そのスイッチが2筐体を占めている。結果として、全体で11筐体とピーク1.07PFlopsのシステムとしては少ない筐体数で収まっている。

高密度実装の計算ノード筐体は水冷で、空気による冷却は必要なく、静かであるという。冷却水の温度は13℃(±3℃)で、冷却後の水温は16℃と書かれていた。

また、SC11では中国のメーカーであるInspur(浪潮)がブースを出していた。昨年までは中国はブースを出しても小さなブースで、ポスターだけとか、CPUチップとかの小さな部品だけの展示であったが、今年の浪潮のブースは本格的で、K1と呼ぶマシンを1筐体展示していた。Inspur K1は4コアのItanium(Tukwila)を使い、写真のように4ソケットのボード8枚(前面からは4枚しか見えなかった。裏にも4枚あるのか、2筐体必要かは聞き忘れた)で32CPUのSMPを構成するハイエンド高信頼サーバである。

また、InspurとIntel ChinaはMICに関して共同研究所を設立して活動しており、ボード写真の端にIntelのMICパートナの看板が見えている。

浪潮は、Top500 2位の天河1Aや、先に紹介した神威藍光も開発した中国トップのスパコン企業であり、このような企業がブースを出してくるというのはSCの展示の充実という点でも望ましい。

113マイルの光ファイバで450Gb/sのバンド幅を提供したSCinet

SCではSCinetと呼ぶ会場内と外部を結ぶネットワークが作られる。ネットワーク機器や人員はメーカーなどが提供し、会期の1カ月くらい前から構築を開始するが、会場全体を1カ月前から使う訳にはいかないので、最初は小さい面積でコアの部分を構築し、ネットワークを会場全体に張るのは1週間程度で行う。そして1週間の会期が終わると、1日で撤収してしまう。

今回のSCinetは、会場から外部へと接続する100Gbit/sの幹線が3本あり、これらを含めて全体で450Gb/sのバンド幅となっている。こられのネットワークを構成する機器は60社以上の通信機器の製造会社から提供され、その値段は27Mドルを超える。そして、会場全体を走る光ファイバの総延長は113マイル(約180km)の長さとなっている。

SC展示番外編

展示であるから、できるだけ人目を引き、人を集めることが重要である。そのため、いろいろな工夫が行われている。その一部を紹介する。

最初はドイツのスパコンセンターのHLRSの展示である。HLRSは毎年、ダイムラーの大型のトレーラートラックを持ち込んでいる。今年はコンテナ型のデータセンターを持ち込んだ企業は無かったので、このトラックが物理的に最大の展示品であった。

HLRSはダイムラーと共同でトラックのまわりの気流と空気抵抗などの解析を行っており、ポータブルの位置センサーを持ってトラックのまわりに立つと、その付近から見たトラックの周囲の空気の流れがディスプレイに表示され、位置を変わると表示もそれにつれて変化するというデモを見せていた。

毎年、1社くらいはスポーツカーを持ち込む。SSDメーカーのNIMBUS DATA社はランボルギーニを持ち込み、人目を引いていた。

いろいろな小物のおもちゃや飴、ビール、コーヒーなどをくれるブースは多くあるが、ハーゲンダッツのアイスクリームで人を集めるブースがあった。Versantというデータベースの会社で、この冷凍ケースを、高性能(アイスクリーム)ストレージと説明していたのが面白かった。