T2Kオープンスパコンが稼動を開始 - その詳細を解説

T2Kスパコンのハードウェアであるが、計算ノードを次の写真に示す。厚さは2U(86mm)の薄型サーバで、幅は481mm、奥行き840mmで、最大消費電力は1030Wである。左の写真が全体図であり、右側にマザーボード、その左側に4列2段の冷却ファン、そして内蔵ディスクのベイがある。奥にあるのは電源である。

右側の写真は、マザーボード部分の拡大図で銅製の冷却フィンがついた4個のOpteronが搭載されているが、1個はフィンが取り外されて、Opteronのパッケージが見える状態になっている。そして、CPUの隣に黒っぽく見えるのが各CPUに8枚づつのDIMMソケットである。 写真の右奥の部分にMyri 10Gのアダプタを搭載する3つのPCI Express x8スロットがある。ここにはロープロファイルのPCI Expressカードが3枚入り、その手前に通常サイズのスロットが1枚分装備されている。

そして、次の写真のように、16台の計算ノードが一つの筐体に収容されて、Myri 10Gで接続されている。右側の写真の空色のケーブルがMyri 10Gのケーブルであり、計算ノードの箱の右端に3本、そしてその左に1本が繋がっている。その左側の赤い2本のケーブルがライフネットワークと接続する1000BASE-Tのケーブル、青いケーブルは計算ノードの動作状態を監視したりするマネジメントネットワークのLANケーブルと思われる。

そして、これらの空色のケーブルは、次の写真のMyri 10Gスイッチに繋がっている。

ということで、当然、床下は次の写真のように、空色のケーブルが走り回っている。

A群を収容した計算機室には合計640ノードが入っており、これを計算機室の壁面近くに並べた約20台の51.12KWの空調機で冷却している。

この冷却機は、上側から温まった空気を吸い込み、冷却して床下に送り込む。そして、冷却された空気は、床下の空間を通って筐体間の床に設けられた吹き出し口から室内に吹き出し、それを筐体が吸い込むという循環となっている。筐体の上に取り付けられている板は、熱い排気が筐体前面の吸気側に回り込むのを抑えるために取り付けられているのであるが、東大センターの計算機室は、東工大のTSUBAMEの計算機室に較べると筐体の間隔が広く、暑いという感じはなく、冷却にはかなり余裕があるように感じられた。