化学プラントのようなAllied Controlの沸騰液冷システム

Allied Controlは、現在では、専用のカスタムLSIを開発してビットコインのマイニングを行っているBitfuryグループの一員となっている。そして、香港に建設した、ビットコインマイニングセンターの沸騰冷却を使う液浸システムを作っている。

そのAllied Controlが今回初めてSC16の展示に参加した。沸騰冷却の顧客を開拓しようという狙いがあるものと思われる。

Allied Controlは、比較的低い沸点を持つNOVECを冷媒として使っており、LSIの発熱で冷媒を蒸発させて冷却する2相式の冷却を行っている。この方式では、気化熱を利用できるので、PEZY/ExaScalerの方式より冷却効果が高い。しかし、気化した蒸気を逃がさないために、密閉した容器に入れることが必要になり、取り扱いが面倒になる。また、均一に沸騰させる必要があるなど、別のノウハウも必要となると思われる。

次の写真の左側の箱が浸漬液冷層で、気化したNOVECを上に載った大きなファンで冷やして液相に戻している。

この装置は、相当な電力を必要としていると思われ、通常の展示会場のAC電源でなく、太い電源ケーブルを天井の照明系に繋いでいた。

Allied Controlの蒸発液冷システム

そして、沸騰冷却の液浸槽では、こまかな泡がたくさん見られた。

Allied Controlの相変化型の液浸槽。沸騰にともなう細かい泡が見える

ASETEKの水冷システム

水冷機器のASETKは、同社のシステムが採用されている各社のボードを展示していた。次の写真に写っているのは、ごく一部であり、Oakforest-PACSもXeon Phiチップの冷却には、ASETEKの水冷システムを使っている。

ASETEKの水冷を使っている各社の製品などの展示。これは一部で、他にも展示台がある

そして、それらのボードに冷却水を供給し、回収するIn Rack CDU(Coolant Distribution Unit)を展示していた。次の写真に見られるように、ラックの柱に張り付く形の薄いCDUから多数の冷却水のコネクタが出ている。そして、温まった冷却水はラックの上部に見える熱交換器で、2次冷却水で冷やされて循環する。2次冷却水は外に運ばれてクーリングタワーなどで冷却される。

この形であれば、ほとんど設置面積を増やすことなく水冷ができる。

ラックの柱に密着する形のCDUとラック上部に置かれた熱交換器

Mellanoxの200Gbit/sのHDR InfiniBand

Mellanoxは、SC16直前に発表した200GbpsのHDR InfiniBandのNIC(ConnectX 6)と40ポートスイッチ(Quantum)を展示していた。といっても、次の写真のような静的展示で、展示員に聞かないとどこにあるのか分からない、ひっそりとした展示であった。

これまでのMellanoxのIBスイッチは36ポートで、同一規模のシステムを作る場合、Intelの48ポートのOmni-Pathスイッチよりも多くのスイッチを必要としていた。しかし、Quantumスイッチは200Gbpsでは40ポートであるが、100Gbpsの場合は80ポートとなり、Omni-Pathのスイッチのポート数を上回り、優位に立った。

Mellanoxの200GbpsのConnectX 6 NICと40ポートのQuantumスイッチ

TOP500国内1位となったOakforest-PACSも採用したDDNのバーストバッファ

並列ファイルシステムは、大きなブロックを読み書きする場合は良いが、小さなデータをランダムアクセスすると性能が出ない。サーバからの小さなブロックのランダムアクセスをキャッシュして、大きなブロックにまとめて並列ファイルシステムをアクセスするのがバーストバッファである。

Oakforest-PACSは、DDNのIME14Kバーストバッファを採用して、約1.2TB/sのアクセスバンド幅を確保している。

Oakforest-PACSでも使われているDDNのバーストバッファ

最適化問題を解く日立のIsingチップ

日立は、ここ数回のSCでIsingチップを展示している。しかし、同じ展示ではなく、毎回、進歩しているという。今回は、FPGAベースのIsingチップで、扱えるスピンの数を1024に増やし、結合の自由度も改善したという。

Isingモデルを使うシステムとしては、D-Waveのものが有名である。こちらは量子アニール効果を使っているが、日立のものは量子効果は使わず、ランダムノイズをうまく使ってローカルミニマムから抜け出して最適化を行っている。

ドローン間の通信を最適化する問題で、CPUを使ってシミュレーテッドアニーリングを行う場合に比べて、1/1000の消費エネルギーで最適解を得られるというデータを示していた。量子トンネル効果を使わなくても、かなり使えるものができるようである。

XilinxのFPGAで作ったIsingチップ

IBMの水冷S822LC POWERサーバ

POWER8 CPUにNVLINK経由で2個のP100 GPUを接続するIBMのS822LCサーバは、6月のISCでは未発表であったが、ひっそり展示されていた。また、10月のGTC JapanでもIBMや日立のブースで展示されていたが、これらの展示で見たのは、POWER8とP100は大きなヒートシンクを付けた空冷システムであった。

しかし、今回のSC16では、IBMのブースに水冷のS822LCが展示されていた。

IBMブースに展示されていた水冷のS822LCサーバ

会場で見かけた注目ブース

続いて、展示物が注目という訳ではないが、いくつかの注目のブースを紹介する。

最初は、国内1位になったOakforest-PACSを擁するJCAHPCのブースである。日本で1位ということで、ブースへの訪問者も多く来ていた。

国内1位のOakforest-PACSを擁するJCAHPCのブース

SGIは、Silicon Graphics Incという名前で、グラフィックスとccNUMAスパコンの老舗であったが、2009年にRackableに買収された。しかし、Rackableがより有名なSGIに社名を変更したので、名前が残った。

今回はHPEに買収されたので、SGIの名前は消えることになると見られる。ということで、多分、これがSCの展示で見る最後のSGIブースとなるのであろう。

HPEに買収されたこともあり、sgiのロゴのブースを見るのは、今年が最後になる可能性が高い

Salt Lake CityでのSC16も終わりで、来年のSC17はコロラド州のDenverでの開催である。SC13がDenverで開催されており、Denverでの開催は4年ぶりとなる。