東大のT2Kシステムは日立製で、HA8000-tc/RS425という4コアOpteronを4個搭載した計算ノードを、全部で952ノード接続したシステムであり、単純にピークFlopsを合計すると140TFlopsとなるが、この952ノードを、512ノードと128ノードのA群の2クラスタと、256ノードのB群クラスタ、そしてログインノードや小規模ジョブを扱う合計56ノードの第二のB群クラスタの4つのクラスタに分けている。一般にこのような大規模なシステムでは、クラスタやそれを更に細分した塊ごとに処理キューを設け、ユーザが処理すべきジョブをキューに入れると、システムは順次、キューの仕事を取り出して処理をするという方法がとられる。東大の場合は、4ノードまで、8ノードまで、…と最大512ノードまでのキューが作られる。従って、現実的には512ノードを超えるジョブは実行されないので、クラスタ間のインタコネクトバンド幅はそれほど頑張る必要ないという設計と思われる。

なお、東大のシステムでは、一例として、16ノードまでのキューの年間使用料は22万円(大学の研究者の場合)となっている。16ノードで64チップ、256コアであるので、これが年間22万円で使えるのはかなり利用しやすい価格である。但し、これはノードの占有権ではなく、共用のキューの使用権であり、混んでくれば、キューに入れても、中々、処理してもらえないということが発生する。

東大システムの各計算ノードは、前述のように、2.3GHzクロックの4コアOpteron×4の構成であり、ピーク性能は147.2GFlopsである。また、各計算ノードは250GBのローカルディスクを持っている。そして、計算ノードは、PCI Express x8を4スロット持ち、ここにMyricom社のMyri 10Gのボードを4枚(B群は2枚)挿している。それぞれのボードの伝送速度は1.25GB/s(同時双方向)であるので、全体では5GB/s以上のバンド幅のマルチリンクとなっている。そして、各ノードには1GBのDIMM 32枚を搭載し、メインメモリ量は32GBである。また、メモリはDDR2 667が使われているので、4ソケット合計のメモリバンド幅は42GB/sとなり、当然ではあるが、全てのT2Kハード仕様を満たしている。また、OSはRedHat Enterprise Linux 5であり、日立製のFortran、C/C++コンパイラやMPICH-MX通信ライブラリを備えている。

東大T2Kスパコンシステムは、このようなA群、B群の計4クラスタと1PBの容量をもつファイルシステムと外部接続のルーターで構成され、次の図に示すような構成となっている。

東大T2Kスパコンシステムの構成図

約1000台の計算ノードがあるので、全体の稼働状況を把握するのは容易ではなく、次の写真のような管理システムを使っている。

東大T2Kスパコンの管理システムの画面。上半分が全体の稼働状況を示し、下側は個々の計算ノードの動作状況を示す。

画面の上半分がシステム全体の稼働状況のサマリーを示し、下側は個々の計算ノードの動作状況を示している。この画面では、40ノードの状態しか見えていないが、スクロールすると、952台全部の表示が見られる。各ノードのグラフは、時系列でのCPU負荷の状態を示している。ここで、上部に表示された赤いノードはビジーなノードで、下側の緑のノードは中程度の負荷、そして、この画面には無いが、下の方には青のアイドルなノードが表示されていた。