SC11 - 学生たちが自ら構築したHPCクラスタで性能を競うSCC

SCCに向けての準備

出場が決まった時点からSC11での競技本番まで半年くらいの時間があり、チームメンバーはクラスタを構成する機器に習熟し、アプリケーションを理解し、必要なら、より速く走るようにチューニングをしたりという準備を行う。この過程は、学生にとっては、コーチや、機器のメーカーのエンジニア、選ばれた実アプリケーションに詳しい人などに教えてもらうという実地の教育となる。

クラスタであるが、会場では最大13Aの電流が使える2つのコンセントが提供され、全てのクラスタ機器は、この2つのコンセントから電源を取らなければならない。つまり、120V ACで最大26Aという電力制限がある。しかし、それを満足すれば、どのような機器を使っても構わない。どのようなクラスタシステムにするかは、スポンサーから借りられる機器にもよるが、基本的には学生が設計する。その結果、各チームのクラスタ構成には大きなバリエーションがある

そして、もう1つ20Aのコンセントが用意され、液晶モニタやPC、コーヒーメーカーなどクラスタの性能に直接関係のない機器に使用することができる。

SC11でのSCC開始

そして、11月12日にSC11の会場がオープンすると、学生チームは機器を運び込み、自分たちのブースに設置して接続などを行い、クラスタシステムをセットアップする。12日と13日の2日間でセットアップを行い、14日の月曜の朝から競技が開始される。

競技が開始されると、学生6人のメンバーだけで全ての事態に対処する必要があり、コーチやメンバー以外の人は、一切、技術的な助言を行ってはならない。

各チームのブースとクラスタ

各チームにはSCの展示場の隣のスペースに10フィート×10フィート(約3m×3m)のブースが与えられる。

国立清華大は昨年のSC10でのSCCで優勝したDefending Championである。昨年に続いてAcerがスポンサーで、クラスタは、6コアXeon デュアルソケットのサーバにNVIDIAのC2070 GPUを接続した計算ノードを使う。各計算ノードのメモリは48GBで、OSはCentOSを使っている。そして、6つの計算ノードを持ち、それらをInfiniBandで接続してクラスタを作っている。

ボストン大学はSilicon MechanicsというサーバメーカーとNVIDIAなどがスポンサーについている。クラスタはAMDの16コアInterlagosと12コアMagny-Coursのデュアルソケット計算ノードの混合である。11ノードで計336コアとなっているので、Interlagosが9ノード、Magny-Coursが2ノードと考えられる。全体で4台のNVIDIAのM2090 GPUを接続しているので、Magny-Coursチップに1対1にGPUを接続しているのではないかと思われる。

各計算ノードのメモリは32GB、OSはLinuxを使っている。そして、11ノードの間はQlogicのQDR InfiniBandで接続してクラスタを構成している。

11ノードとサーバ台数が多く、それにGPUが4台ついており、これで26Aに収まるのか心配になる規模である。もちろん、電力オーバの場合は、一部のノードの電源を切っておけば良いので、ハードは多めに用意して悪いことはない。

国防科技大のスポンサーは中国のスパコン大手のInspurである。国防科技大は、6コアXeonのデュアルソケットのサーバに3台のNVIDIAのC2070 GPUを接続した計算ノードで、各計算ノードは96GBのメモリを持ち、OSはRedHatのLinuxを使っている。クラスタはわずか2ノードで、ノード間をInfiniBandで繋いでいる。

非常にGPUリッチな構成であるが、ハード全体の規模は他のチームのクラスタと比べて小さい。しかし、国防科技大はGPUスパコンであるTop500 2位の天河1Aを開発した学校であり、チームはGPUチューニングのノウハウを持っているものと考えられ、GPUの活用いかんでは好成績が期待される。

コロラド大のスポンサーはHPC Advisory Councilで、計算ノードとして16コアのInterlagosを4ソケットに128GBのメモリを搭載しているDELLのサーバを使っている。OSはRed Hatである。この計算ノードを4つ使い、それらをMellanoxのQDR InfiniBandで繋いでいるという、すっきりしたクラスタである。

コスタリカ工大は、当初は地元のIT企業がスポンサーであったが、開催直前になって降りてしまい、HPC Advisory Councilが肩代わりして競技に参加できることになった。クラスタはコロラド大と同じものが提供されることになったが、直前にシステムが変わってしまった不利は否めない。

ロシアチームのスポンサーはMicrosoftである。クラスタの計算ノードは6コアXeonデュアルソケットに24GBのメモリを搭載し、OSとしてMicrosoftのWindows HPC Serverを使っている。他の7チームはLinux系のOSであるが、Microsoftがスポンサーであるのでこれ以外の選択は無かったのであろう。

この計算ノードを7ノード使っているが、クラスタ全体では12台のNVIDIAのM2070 GPUを接続している。7ノードであるので、各2GPUなら14台となるが、電力の制約で12台となったと思われる。計算ノード間の接続はInfiniBandである。

パデュー大のスポンサーはIntelで、計算ノードは10コアXeon クワッドソケットに64GBのメモリを接続している。OSはCentOSである。GPUは使わず、4計算ノードを10Gbit Ethernetで接続しており、InfiniBandを使っていないのはこのチームだけである。

そして、テキサス大のスポンサーはDELL、IntelとGreen Revolution Coolingである。6コアXeon デュアルソケットに48GBのメモリを搭載した計算ノードで、OSはCentOSを使っている。GPUは使っておらず、11計算ノードをInfiniBandで接続している。

テキサス大の秘密兵器は次の写真に示すGreen Revolution Coolingの液浸冷却装置である。この11計算ノードをミネラルオイルにジャブ漬けして冷却する。これによりエネルギー効率が5～15%向上し、その分、120V、26Aの電力リミットの中で多くのハードウェアを動かすことができる。