6種のモジュールで構成されたCray T90

T90はCentral Processor、Central Memory、IO、Shared、Network、Boundary Scanという6種のモジュールで構成されている。各モジュールはLetter Size(8 1/2in×11inで、A4とほぼ同じサイズ)より小さい。3枚のPCBをラミネートしてはんだ付けで接続し、内側は8層の電源、GNDで、外側の2枚のボードは信号22～23層で、全体として52～56層のプリント板を作っている。

この複合プリント板の両面にLSIを搭載し、モジュールの総ゲート数は800,000を超える。配線距離が短いので、LSI間の信号伝送の遅延は最大2nsに抑えられているという。そして、モジュールに最大80万ゲートを搭載できるので、1台のプロセサ(CP)を1個のモジュールに収容することができた。

CPモジュールの浮動小数点演算は、伝統のCrayフォーマットかIEEE 754フォーマットかを選択することができるようになった。ただし、IEEE754版のハードウェアは1年遅れの提供開始であった。

T90の命令はC90互換で、T90はC90と完全互換のモードで動かすことができた。

CPはメモリバンド幅を確保するため、メインメモリ(CM)に8ポート並列で接続されている。

各CMモジュールは16個のメモリスタックからなり、各メモリスタックは2枚のPCBからなっている。各メモリスタックは、40個の4MbitのBiCMOS SRAMを搭載し、BiCMOSメモリチップのアクセス時間は15nsである。40個のメモリチップは、20チップ×2列に配置され、19チップがデータ、1チップはスペアとなっていた。フル実装のCMモジュールは32Mwordの容量を持ち、メモリバンド幅は800GB/sを超える。

T90のクロックは2.2ns周期と高速であり、クロック分配のスキュー(タイミングのずれ)は0.2ns以下程度に抑える必要があると思われる。このため、T90では、光ファイバでクロック分配を行っている。

I/Oの接続を担当するIOSは、8個のCPモジュールのうちの4個と接続している。そして、各IOSモジュールは8本の低速LOSPチャネル、8本の高速HISPチャネル、4本の超高速VHISPチャネル、さらに各種の低速チャネルを扱うことができるようになっている。

T932は最大4台のIOSモジュールを接続することができ、T916は2台のIOS、T94は1台のIOSが接続できる。

なお、高速ストレージであるSSDはIOSと同一のキャビネットに収容され、SSDは最大4GWordの容量があった。

Shared(SR)モジュールはIOコマンドの処理の中心をなすモジュールである。すべてのCP-IOSペアが直接接続されているわけではないので、SRモジュールが中継してコマンドを送るという制御になっていた。

NetworkモジュールはCPとCMを繋ぐモジュールで、T932とT916では必要だがT94には不要であった。

T90では、バウンダリスキャン(Boundary Scan)という機能が採用された。バウンダリスキャンは、各モジュールの入力の設定と出力の観測ができるという機能で、故障がどのモジュールで発生しているのか、あるいはモジュール間のどの配線に問題があるのかを容易に切り分けることができるので、修繕時間を短縮し、MTTR(Mean Time To Recover)を短縮して、稼働時間を延ばすことができるようになる。

Boundary Scanモジュールはすべてのモジュールのバウンダリスキャンチェインへの接続と全モジュールに接続される長いContinuity Lineのショートに起因する割込みを検出するという機能をもっている。

(次回は1月11日に掲載します)