地球シミュレータを収めたセンターの構造はどうなっていたのか？

ノード間信号ケーブルの敷設は人海戦術

地球シミュレータセンターの建物は一応3階建てであるが、普通の3階建てとは大きく異なっており、1階はシステムを空冷する空調機と電源供給部が占めている。

2階はフリーアクセスフロアである。この部分は、普通のコンピュータセンタの場合、機器の間を繋ぐケーブルを収容する部分で、30cm程度の高さのスペーサを置き、その上にコンピュータを設置するフロアとなるパネルを載せる。しかし、ESの場合、クロスバのケーブルが83,200本と膨大にあるので、このスペースの高さは170cm程度となっている。

ケーブルの厚みは最大で40cm程度であるが、このスペースは筐体を冷却する冷気の供給路ともなっており、さらに消防法の制約もあり、1.7mの高さとなっている。

この8万本あまりのケーブルの敷設も1本ずつ人手で行う必要があり、ピーク時70名が作業したという。それでも一日の敷設本数は1200本程度で、敷設には3.5か月を要した。

• ケーブルの総延長は2400km。ピークには70人が作業し、敷設作業に3.5か月かかった。ケーブルに弛みが出ないように、40種の長さのケーブルを作った

そしてケーブルが積み重なっているので、特性不良のケーブルが見つかってもそのケーブルを取り出して交換することはできないので、残したまま、上に新しいケーブルを敷設していったという。

次の図はケーブル敷設のための準備の様子を写したもので、1/10の縮尺モデルを作りケーブルの引き回しを検討したり、配線CADを使ってケーブルの引き回しとケーブルの厚みを検討し、府中体育館に模型を作り作業員を集めてケーブルの敷設訓練を行ったりした。

• コンピュータノード間のケーブルの敷設は、ケーブルのルートのCADによる設計や重なりによる高さのシミュレーションを行い、府中体育館で敷設のトレーニングを行うという準備を行った

そして、データセンタの3階がマシンルームでPN筐体やIN筐体が並ぶ。しかし、これで終わりではなく、その上がリターンダクトとなっており、PN/IN筐体を冷却して熱くなった空気を矢印のように空調機に戻す通路になっている。ちなみに、ESの消費電力はTop500のデータでは3.2MWとなっており、この熱をリターンダクトで運び出す必要がある。本来の建物の外側にこのリターンダクトが作られているので特異な膨らんだような外観の建物になっている。

• 3階の上は筐体を冷却した空気の通り道(リターンダクト)になっている。このため、特異な膨らんだ外見の建物になっている

次の写真はPreferred Networks社のMN-3スパコンの搬入時のYouTubeのビデオクリップから取り出したものであり、あまり画質が良くないが、すこしかまぼこ型になった屋根の輪郭が見える。コンピュータを設置するのは3階のフロアであるので、3階の搬入口までクレーンで釣り上げて搬入する。

• クレーンで設置機器を吊り上げて3階の搬入口からコンピュータルームに運び込む。かまぼこ型の天井が見える (出典:YouTube、Making of PFN’s MN-3 supercomputer)

地球シミュレータの生みの親である三好先生は、地球シミュレータの完成の直前の2001年11月17日に現役の地球シミュレータセンター長のまま逝去された。11月10日にオフィスに来られて地球シミュレータの進捗状況の報告を聞かれたのであるが、コンピュータ棟を訪れる体力は無く完成間際のESシステムを見られなかったのは残念である。

(次回は12月4日の掲載予定です)