中国が開発を進めるExaScaleプロトタイプの目標性能

2016年から2020年にわたる第13次5ヵ年計画では、自主開発で他者から制約を受けないExascaleコンピューティングのコアテクノロジの開発を行う。これは世界的なHPC分野での中国のポジションを維持すると言う点で重要であるという。

また、重要なHPCのアプリケーションやソフトウェアの開発センターを作りHPCアプリケーションのエコシステムを作る。

Exascaleのシステムの開発は、2016年から2018年とその後という2ステップで考えている。2016年から2018年は3つのベンダを選び、Exascaleのプロトタイプ機を開発させる。

その次の段階では、(多分)2つのベンダに絞り、2022年を目標にExascaleシステムを開発する。

なぜ、Exaプロトタイプを3つのベンダにやらせるのかと質問したら、こういう先進的な仕事はどこの地方政府にとっても魅力的なプロジェクトで、その調整が難しいといった回答があり、技術だけで判断できる問題ではないようである。

  • 中国のExaScaleスパコンプロトタイプの選別手法

    2016年からの第13次5ヵ年計画では、前半は3社を選んで、Exascaleのプロトタイプ機を開発する。後半は2社に絞り込んでExascaleシステムを完成させる。完成時期は2022年ころと予想している

Exascaleプロトタイプの目標は、5TFlops以上のノード性能で10GFlops/Wを超えるエネルギー効率の実現である。ネットワークは、200Gbps以上のバンド幅で、MPIレイテンシが1.2μs以下を目指す。HPL効率(HPL性能/ハードウェアのピーク演算性能)は60%以上という目標になっている。

プロトタイプ機の規模は512ノードで、科学技術計算だけでなく、グラフ処理やAIアプリの実行もサポートするものであるものを目指す。そして、1ExaFlopsまでスケールアップできるシステムになっていることが要件である。

  • Exascaleのプロトタイプの目標性能

    Exascaleのプロトタイプ機は、5TFlops以上のノード性能、10GFlops/W以上のエネルギー効率を持ち、ネットワークバンド幅は200Gbps以上。MPIレイテンシは1.2μs以下でHPL効率は60%以上。グラフ処理やAIも扱えるアーキテクチャであることが要件になっている。プロトタイプ機は512ノードの規模であるが、1ExaFlopsまでスケールするシステムであることが要求されている

NUDTが提案するExaスパコンのプロトタイプ

NUDTはTianhe-2AのテクノロジをベースにしたExascaleプロトタイプを提案している。

  • NUDTはTianhe-2Aの技術をベースとしたExascaleプロトタイプ機を提案

    NUDTはTianhe-2Aの技術をベースとしたExascaleプロトタイプ機を提案している

Matrix-2000アクセラレータを2TFlopsにアップグレードしたMT-2000+とし、これをノード当たり3台として、ブレードの性能を6TFlopsに引き上げる。これはクロックを2GHzに引き上げ、消費電力を130Wに引き下げることで実現する。これでエネルギー効率は15GFlops/Wまで改善する。そして、ネットワークは400Gbpsに高速化する。

TH Express-2は14Gbpsであり、その次が400Gbpsというのは飛躍が大きすぎるのであるが、最初の10GbpsはInfiniBandのQDRかFDR10相当で1レーンで10Gbps。これに対して400GbpsはHDR 8レーン相当ではないかと思われる。この推測が正しいとすれば、40倍のバンド幅は、信号線1本あたりは5倍のバンド幅で、8倍の本数の信号線で実現されることになる。

  • Exaスパコンプロトタイプの性能向上手法

    2TFlopsのMatrix-2000+を3個搭載するノードを使用し、15GFlops/Wを実現する。また、インタコネクトは400Gbpsにスピードアップする

冷却は、空冷と水冷のハイブリッドであり、高発熱部品は水冷し、水冷が難しい部品は空冷で冷却する。これでPUEは1.15以下になるという。

なお、アクセラレータはMatrix-3000で良いとして、かなり古いTianhe-2の時代の12コア 2.2GHzクロックのXeon 2695をどうするのかは気になるところである。米国から買うという選択肢がないとすると、やはり、CPUも自主開発となるのであろうか?

  • 高発熱部品は水冷し、その他のコンポーネントは空冷する

    高発熱部品は水冷し、その他のコンポーネントは空冷する。HPC向けのサーバでは標準的な方法を使う

Sugonが提案するExaスパコンのプロトタイプ

コマーシャルのHPCサーバを作っているSugonもExascaleプロトタイプを発表している。

  • SugonもExascaleプロトタイプ機を発表している。

    SugonもExascaleプロトタイプ機を発表している。

Sugonはx86互換のCPUを使い、それにDCUと呼ぶGPUアクセラレータを接続するアーキテクチャをとっている。ネットワークとしてはInfiniBandとOmniPathを併用している。次の図に見られるように、CPUとGPUは1対1接続で、4個のCPU間の接続もPCI Expressで行われているようである。

  • SugonのExaスパコンプロトタイプの計算ノードの構成

    Sugonの計算ノードはx86 CPUにDCUと書かれたGPUアクセラレータを付ける構造になっている。ノード間のネットワークはInfiniBandとOPAを使い、バンド幅は100Gbps。文字が小さく読みにくいが、4個のCPU間の接続はPCI Expressと書かれているようにみえる

Exascaleプロトタイプは512ノードであるが、Exaシステムでは、512ノード、32スーパーノード、6個のシリコンユニット、1個のシリコンキューブという階層でExascaleの性能を目指す。

冷却は絶縁性液体を使う浸漬冷却を予定しており、PUEを1.01～1.02に低減できるとしている。

  • SugonのExaスパコン プロトタイプの諸元

    512ノードをスーパーノードとし、32スーパーノードをシリコンユニットとする。そして、6個のシリコンユニットを1個のシリコンキューブとするという階層で大規模システムを作る。冷却は浸漬液冷でPUEは1.01-1.02に低減できるという

なお、NRCPCは、まだ、Exascaleプロトタイプ機の構想を発表していない。

(次回は7月30日に掲載します)