コンピュータアーキテクチャの話(428) 日本の傑作スパコン「NWT」はどのようにして設計されたのか？

数値風洞(NWT)の概要

100万格子点のCFD計算を10分で実行するには、VP400の100倍以上の演算性能と32GB以上のメモリが必要と見積もられた。

最大の問題はメモリで、1つの共用メモリに数100台のベクトル演算器を付けるという構造は現実的ではなく、分散メモリとする必要があると考えられたが、分散メモリでCFDアプリケーショを作り、高い性能を実現したという事例は存在しない状況であった。

これに対して、航空宇宙技術研究所(NAL)と富士通は検討を行い、ノード間をクロスバのような密な結合のネットワークで接続すれば、NALのアプリケーションを高い性能で実行できることを確認し、この方式で進むことを決めた。

数値風洞の概要であるが、1993年にNALに設置され、稼働を開始した。当初は140PEであったが、1996年2月に166PEに増強された。

増強後のシステム諸元が次の表にまとめられている。PEの接続はクロスバネットワークであり、166PEがすべてクロスバスイッチに接続されており、必要なハードウェア量は多いが、論理的にはどのような通信パターンでもトポロジ的にネックにはならず、故障の場合の故障PEの切り離しも容易な使いやすいネットワークである。クロスバの各ポートのバンド幅は421MB/s×2である。

166PE合計の浮動小数点演算性能は280GFlops、システム全体のメモリ容量は44.5GBであった。そして、PEのクロック周期は9.5ns、消費電力は1MWであった。次の図の右側の写真はNWTの外観である。

数値風洞の概要。1993年の設置時には140PEであったが、1996年2月に166PEに増強された (出典:2011年に開催された三好甫先生記念計算科学シンポジウムにおけるJAXA松尾氏の発表資料)

次の図の上半分に描かれているのが、NWTシステム全体のブロック図である。先に述べたように1つのプロセサでは280GFlopsの性能は実現できないので、166(当初は140)個のPEを使い、それぞれのPEがクロスバスイッチに接続されている。それぞれのPEは左端の写真のように1枚のセラミック基板に実装されている。それぞれの基板には11×11の配置で、合計121個のLSIが搭載されている。中央の写真はPEの写真で、左側に見える青い蓋のついているものが121個のLSIを搭載したPEのロジック部である。そして、右奥の90度向きを変えて置かれているプリント板がノードメモリである。その間の部分は、PEとノードメモリボードとの直接接続のための接合コネクタ、およびPEとクロスバを接続する同軸ケーブルコネクタ群である。この部分は機構部品でできており、半導体は入っていない。

数値風洞のシステムのブロック図。各PEが256MBのメモリを持ち、全PEがクロスバスイッチに接続される構造となっていた (出典:三好甫先生記念計算科学シンポジウムにおけるJAXA松尾氏の発表資料)

2020年2月9日訂正:記事初出時、256MBのノードメモリは汎用機のキャッシュメモリとして開発されたECLメモリを流用して実現した、としておりましたが、誤りであったことから、当該部分を訂正させていただきました。ご迷惑をお掛けした読者の皆様、ならびに関係各位に深くお詫び申し上げます。

次の写真は、2011年に開催された三好甫先生記念計算科学シンポジウムにてJAXA松尾氏が発表した資料から抜粋させていただいたもので、NWTの搬入時の風景の1枚である。この写真には2個のPEが写っており、そこにはKAI PM品と書かれた大きな紙が貼られている。KAI(甲斐)は当時の富士通でのNWTの開発コードネームであり、PM品は製品レベルの部品であることを意味している。