コンピュータアーキテクチャの話(457) 高効率冷却システム「ECOphlex」を採用した「Jaguar」スパコン

効率の高いECOphlex冷却システムを採用

XT5 Jaguarは、次の図6のようなCrayが「ECOphlex」と名付けた冷却系を使っている。ECOphlexではコンピュータルームの気温は23.8℃(75°F)となっており、この空気を取り入れXT5のブレードを冷却した空気は47.22℃(117°F)まで温度が上がり、それを一番上にある2枚の蒸発器で75°Fに冷却する。

使っている冷媒は、R134aという自動車のエアコンに使われているのと同じ冷媒である。そして、117°Fまで温められて蒸発した冷媒はキャビネット列の端にある水冷の熱交換器で冷却されて循環する。この冷媒は低沸点であるので、CPUの発熱を吸収すると気化し、その時に気化熱を吸収するので、単に冷水で冷却するよりも冷却効率が高い。なお、蒸発した冷媒は筐体上部のステンレスパイプで筐体列の端に設置された熱交換器に運ばれ、冷水で冷却されて、また、筐体に戻るというループになっている。

図6は筐体の冷却系の図で、ブレードのケージを3段に重ね、キャビネットの右側の一番下に置かれているかなり大きなブロアーで上方向に吹きあげる空気で冷却している。空気の流れは3200CFM(Cubic Feet per Minute)(90.624m³/分、約1.5m³/秒)となっている。

下側の蒸発器で75°Fに冷却した空気をブロアーで上方に吹き上げ、3段のブレードを冷却する。その結果、空気は117°Fまで熱くなり、上側の2枚の蒸発器で元の75°Fまで冷却されてコンピュータルームに排出される。

この冷却システムは1Wの発熱を冷却するのに必要な電力は0.2Wとのことで、当時の標準的なシステムでは1Wの発熱の冷却に必要な電力が0.8W程度であったのと比べると、圧倒的に効率が高かったとのことである。

図6 大型のブロアーの上に3段のブレードケージを搭載して空冷している。その空気をR134aという冷媒で蒸発冷却している (出典:The Cray XT4 Programming Environment、Jason Beech-Brandt、Kevin Roy)

図7は、この筐体で使用されている軸流型のブロアーの写真と空気の流れのシミュレーション結果である。他のコンピュータではあまり見かけない大型で強力なブロアーを使っている。

図7 XT4/5に使用されている冷却用のブロアー (出典:Scalable by Design The Cray XT Series of Supercomputers,　Cray Corporate Update)

図8は、コンピュートブレードの風の流れを説明する図であるが、発熱の大きいCPUのヒートシンクの部分は高速のエアフロー、発熱の少ないDIMMの部分は低速のエアフロ―となっている。多分、DIMM側の空気の流量を減らしてCPU側に多く空気を回すような仕切り板が取り付けられているのであろう。

さらに、CPUのヒートシンクの羽根の枚数をよく見てみると、下側のCPUのヒートシンクは羽根の間隔が広く、上に行くにつれて羽根の枚数が増えて間隔が狭くなっている。これは下のヒートシンクは流れる空気の温度が低く、上に行くほど、下のCPUの発熱を吸収して空気の温度が高くなるので、ヒートシンクの熱抵抗を減らして、温度を少しでも均等に近づけようという工夫である。

しかし、1枚のブレードの中の上下よりも、縦に積まれた3枚のブレードの順序の方が温度の違いが大きいと思われるが、それに関してどう対応しているのかについては情報が無い。