ExaFlops時代のスパコンノウハウを模索 - 筑波大の新スパコン「HA-PACS」

筐体列の前面側には、写真で天井の照明が写りこんでいるプラスチックのカバーが設けられており、床下からの冷気を効率よく筐体に供給するようになっている。また、筐体の裏側には温度の上がった排気を天井に導くダクトが設置されている。天井の排気孔が小さく、吸い込み不足とのことであったが、その下に立っても、暑いという感じは無かった。

HA-PACSのノードは厚いブレードで、8Uのシャーシに4枚の実装となっている。これを筐体の上側に2段、下側に1段搭載し、1筐体に12ノードブレードを収容している。

そして288ポートのIBスイッチとの接続は、距離の短い接続は黒い銅線のケーブルを使用し、値段の高いオレンジ色の光ファイバの接続は極力減らして、コストを削減している。HA-PACSのコスト削減は徹底しており、使用している筐体も以前のPACS-CSのものを流用しており、Approが作ったのは青色の化粧パネルだけとのことである。

その結果、ベースクラスタ部は7億円弱で、TCA部を含めても10億円程度と、Flops当たりのコストでは京の1/10以下である。ただし、京は設計費や建屋の建設費用も含んでいるのに対して、HA-PACSは大きな開発費負担はなく、計算センターの建物、空調、UPSなどは流用であるので、同一レベルのコスト比較にはなっていない。

消費電力は、各機器の定格を合計すると405kWになるが、現在の実測では190kWと大幅に少ないという。各機器の定格は製造バラつきの範囲の最大値となっているが、スパコンシステムでは全ての機器が最大側にバラつくことはないので、一般的に定格の合計よりも2割やそこらは低い電力になる。また、まだ、稼働直後でノードの使用率が60%程度であることに加えて、M2090 GPUのDVFS(Dynamic Voltage Frequency Scaling)が効いているという。M2090 GPUの最大消費電力は225Wであるが、アイドル時には30Wまで減る。これらの効果の合計で、結果として190kWになっていると考えているという。

スパコンの規模が大きくなっても、ノードあたりの問題規模を一定として同じ時間で計算するというウイークスケーリングは一般に実現しやすいが、一定の規模の問題をスパコンの規模に逆比例して短い時間で解くストロングスケーリングを実現するのは難しい。TCA部は密結合のアクセラレータで、ストロングスケーリングの実現を目指す研究を行い、ExaFlopsシステムの開発指針や密結合アクセラレータの有効な使用法などの開発を目指している。