SC15 - HPCではすでに常識となった液冷技術

フッ素系の絶縁性液体を使う浸漬冷却

3MはFlorinertとNovecという絶縁性の液体を製造している。Flolinertは完全フッ素化合物で、洗浄や温度制御に用いられる。Novecはハイドロフルオロエーテル(HFE)構造を持つ製品で、やはり用途は洗浄や温度制御などとなっている。違いは良く分からないが、フロリナートの方が密度が高く、化学的安定性も高いようである。また、フロンと違って、両者ともオゾン層を破壊するという問題は無い。

Green500で1位を取ったExaScaler/PEZYのシステムは、「Florinert FC43」という製品を冷媒として使っている。沸点は174℃と高く、通常の使用状態では僅かに蒸発する程度で、密閉しなくても使用できるので取扱いは容易である。また、粘性は小さいので、ミネラルオイルと違ってサラッと流れ落ち、少量の残りを蒸発させれば部品の交換などができる。

ExaScaler/PEZYは沸点の高いFC43を使っているので、冷却のメカニズムは沸騰冷却ではなく、温まった液体の移動による。このため、ポンプを使ってフロリナートを循環させ、外部の冷却器で冷やして液浸槽に戻す。

SugonのRobo Bladesは、沸点が50℃前後のNovecを冷媒として使っている。沸点が低いので、CPUなどの高発熱の部品の表面ではNovecが沸騰して気化する。この液相から気相への変化に伴い気化熱が奪われるので、冷却効果が高い。しかし、気化したNovecが逃げては困るので、容器を密閉する必要がある。そして、気相の部分に水冷のパイプなどを通して、気化したNovecを冷却して液相に戻して滴り落ちるようにしてやる必要がある。

この密閉の必要性と保守性を両立させるために、SugonはRobo Bladesというシステムを開発した。ロボットアームで取り出すブレードを引き抜き、そして90度回転してブレードを水平にして移動させる。詳細は不明であるが、2重ドアのような構造でNovec蒸気が逃げるのを防ぎ、ブレードを取り出すと思われる。取り出しを開始してから5分もすれば、完全に乾燥したボードが出てくるという。

しかし、この構造では、ブレードを引き抜いて回転させるため、液面の上に液の部分と同じ大きさかそれ以上の空間が必要になる。冷却能力の高い液体を使うことで実装密度を高めようとする努力が相殺されてしまうわけで、取り出しのためのスペースを小さくしないと実用にならないのではないかと思う。

「ICEOTOPE」もフロン系の絶縁液体を使って冷却を行っている。Green Revolution CoolingやExaScaler/PEZY、SugonのRobo Bladesは数十枚のプリント板を大きな液浸槽に入れているが、ICEOTOPEはマザーボードのような大きなボード1枚ごとに、次の写真に見られるように、密閉された1Uのサーバブレードのようになっている。そして、この箱のパネルが熱交換器になっていて、温まったフロン系の一次冷媒をパネルを通る2次冷却水で冷やしている。

従って、ブレードごとに見ると外部から供給するのは2次冷却水で、水冷のモジュールと同じである。発熱部品から2次冷媒水までの熱の伝達にフロン系冷媒を使っていると言う造りである。

1次冷媒としては、Solvayのフロン系の液体を使っている。沸騰冷却は使っておらずExaScaler/PEZYと同様、沸点の高い冷媒を使っていると思われる。Solvayは日本ではあまり知られていないが、ベルギーの化学メーカーで年間の売り上げは約1.35兆円という大企業である。

Extollはインタコネクトの会社であるが、フロン系の沸点49℃の「Novec 649」を使う「Green ICE」という液浸システムを展示していた。この沸騰温度から見ると沸騰冷却で、Novecの蒸気を2次冷却水で冷やすというシステムである。2次冷却水の温度は入り口が35℃、出口が50℃である。Novecの循環は自動的に行われるが、2次冷却水の循環にはポンプを使っている。

なお、この写真では盛大に泡が出ているが、これはデモ用に空気を送り込んでいるためで、実際にはこれほど泡は出ない。

HGST 8TB HDDの液冷

通常のHDDや冷却ファンなどは、液浸状態で動作させることはできない。しかし、HGSTは同社の「Ultrastar He8」という8TBのハードディスクを液浸状態で動作させる展示を行っていた。

高速回転する高性能HDDでは、空気と回転するプラッタの摩擦によるエネルギーが電力消費の内の大きな比率を占める。このため。HDD各社は、空気より摩擦の少ないHe(ヘリウム)充填のHDDを提供している。

しかし、ヘリウム充填の風船が短時間でしぼんでしまうように、ヘリウムは抜けやすい。このため、どうせ、回転するプラッタを厳重に密閉する必要があるなら、HDDを液浸しても使えるようにしてしまおうとHGSTは考えた。

そして、ExaScaler/PEZYのStorage Node SH Brickは、HGSTのHe8 HDDを液浸して使っている。

なお、SC15の時点では8TBが最大であったが、その後、液浸可能な10TBのHe10が発表されている。