第58回Top500でも日本のスパコン「富岳」が圧勝、上位の順位に大きな変動はなし

Top500

2021年11月15日(米国時間)に発表された第58回のTop500では、トップレベルのスパコンの中では大きな順位の変更は無く、前回に続いて日本の「富岳」スパコンが第1位になった。

富岳は2020年6月のランキングで1位となり、今回で連続4回のTop500の1位獲得である。富岳が登場した2020年6月には、米国や中国などのエクサスパコンが間を置かず登場すると考えられていたが、富岳が今回で4回連続でトップを占めたことは、富岳はトップレベルのスパコンとして1つの時代を作ったと言える。

筆者は、ピーク演算性能が0.5EFlops程度では、すぐにトップの座から転落する中途半端なマシンになるのではないかと思ったのであるが、これは大きな間違いであった。米国の最初のエクサスパコンになるはずの「Aurora」が遅延してプロジェクトが仕切り直しになり、中国の開発が米国のテクノロジが使用できなくなって遅れたりして、ライバルの米中のエクサスパコンの開発が遅れた。これにより、富岳は0.5EFlopsのプレエクサのスパコンとして競争力のあるスパコンになることになった。筆者の見通しの間違いをお詫びしたい。

第58回Top500の1位は理研と富士通が開発した富岳である。富岳は2位の「Summit」の3倍の性能を持っており、現在では断トツの性能のTop500スパコンである。

今年のTop10スパコンの大部分は昨年からのものであるが、1システムだけ新顔がある。それは10位に入ったMicrosoftのAzureスパコンの「Voyager-EUS2」である。AMDのEPYC CPUとNVIDIAのA100 GPUを使いR_max 30.05PFlopsを出し、Top500の10位にランクインした。

10位までに新しくランクインしたスパコンはAzureのVoyager-EUS2だけであるが、Top15を見ると新顔が多い。11位にSamsungのSSC-21が、12位にアルゴンヌ国立研究所のPolarisシステムが、14位にフランスのAtosのCEA HFシステムがそれぞれランクインしている(それ以外の13位のFronteraは前回10位、15位のDammam-7は同11位)。

Green500

このところ、Green500は日本のPFN(Preferred Networks)とNVIDIAのGPUベースのシステムの争いとなっている。PFNのMN-3システムは前回のGreen500では29.7GFlops/wのエネルギー効率であったが、今回のGreen500ではスコアを39.38GFlops/Wと大幅に引き上げて、再度、Green500の首位となった。

なお、ハードウェア的には前回のシステムから変わっておらず、コンパイラによって計算性能を増し、消費電力を削減したとのことである。前回のGreen500では61.36kWであった消費電力が今回は55.39kWに減少してスコアが改善しており、非常に効果的な消費電力削減が行われている。しかし、コンパイラ改善による性能向上は、そろそろ限界で、現在、次世代の「MN-Core2(仮称)」の開発を行っており、MN-Core2 ASICの性能評価を行っている段階であるという。そして、今後の開発計画をSC21でのPFNの展示ブースで公開しているとのことである。MN-Core2を使用するスパコンは2023年に登場する計画であるという。

HPCG

大きな次元の疎行列の係数を持つ連立一次方程式をConjugate gradient法で解くHPCGは、今回も富岳が16HPCG PFlopsで1位を獲得した。HPCGで2位となったのはSummitで、2.93HPCG PFlops、3位のSierraは1.91 HPCG PFlopsであった。

疎行列であるので、メモリアクセスの効率が低くHPLに比べるとHPCGの性能は非常に低くなる。このため、HPLとHPCGの性能範囲はブックエンドの両端になっていると言われることもある。

なお、有限要素法の計算でも、格子点が非常に多くある大規模問題では、ある格子点からすべての他の格子点につながるという問題は少ない。一部の格子点の間だけに関係があり、係数行列は疎になるというケースの方が一般的であり、HPCGが必要となるケースの方が一般的であると言える。

HPL-AI

HPL-AIは、マシンラーニングの性能を測定するもので、低精度の計算と高精度の計算を使い分ける混合精度でマトリクス計算を行う。HPL-AIは最終結果としてはHPLとほぼ同じ精度の結果を出力するので、富岳は2EFlopsの計算を行っていると言うのも正しい。つまり、計算だけを考えると富岳はExaFlopsの計算を実行できる最初のスパコンとなっている。一方、FP64精度の計算で直接、HPLの計算ができるスパコンは、まだ、出現していない。

Top500の表彰

Top500の表彰は、年に2回で、11月はSCの開催に合わせて米国で授与される。授与の対象は、全体の内の世界1位から3位とヨーロッパの1位のシステムである。そして、HPCGの世界1位から3位とHPL-AIの1位から3位、そしてGreen500の1位から3位のシステムにも授与される。

今回のTop500 1位は日本の富岳で、性能はHPLの実行で442PFlopsである。

• 富岳に授与されたTop500の3枚の賞状。ビデオのアングルで、HPLの賞状は上側が切れてしまっている

• Top500、HPCG、HPL-AIの1位の賞状を掲げる理研の松岡R-CCSセンター長と主催者のJack Dongarraテネシー大教授

Top500の第2位はOak Ridge国立研究所のSummitスパコン、3位はLawrence Livermore国立研究所のSierraスパコンである。そして、ヨーロッパの1位はドイツのJUWELS Booster Moduleというスパコンである。

今回は米国のエクサスパコンが間に合わず、富岳が1位を独占したが、次回は少なくとも1台は米国のエクサスパコンが登場すると見られ、富岳の独走は無くなると予想される。

そして、HPCGであるが、今回、Lawrence Berkeley国立研究所のPerlmutterが1.9PFlopsを達成して3位に食い込んだ。

そして、HPL-AIではNVIDIAの社内システムであるSeleneスパコンが0.63EFlopsで3位を獲得した。

Green500

Green500はTop500にランクインする規模のスパコンの中で、HPLを実行するときの性能/Wを競うものである。Green500では、前回に続いて日本のプリファードネットワークス(Preferred Networks)のMN-3が1位を獲得した。Preferred NetworksはAIシステムの開発を行っているベンチャーで、日本のユニコーン企業の筆頭の呼び声が高い。

次の表は、エネルギー効率の順にスパコンを並べたGreen500の表である。1位のMN-3と6位のSnelliusを除くとAMDのEPYC CPUにNVIDIAのA100 GPUを付けたシステムになっている。

• Green500はMN-3が大きく性能を伸ばして、前回に続いて、1位を獲得。右下の写真はTop500リストの作成を担当している主催者の一人のErich Strohmaier氏である (これ以降の分析のグラフの写真はStrohmaier氏の発表資料のコピーである)

Preferred Networksは自社でのAI開発に使うためにスパコンを開発している。ランキングは前回に続く1位で同じであるが、今回は39.4GFlops/Wの電力効率で、2位のSSC-21の34.0GFlops/Wを大きく上回っての1位獲得である。

なにか特別な工夫があるのではないかと見る向きもあるが、Preferred Networksによれば、前回からハードウェアに変更は無く、ソフトウェアの改善による性能向上とのことである。

Green500の2位はSamsungのSSC-21 Scalable Moduleというシステムである。3位はNVIDIAの液冷の実験システムのTethys、4位はケンブリッジのWilkes-3である。

• PFNのMN-3は前回に続いてGreen500の1位を獲得した

中国のTop500クラスのスパコンの動向

中国は3つのExaスパコンを開発しており、その内の1～2システムはこの11月のTop500に登場するという見方がなされていた。しかし、蓋を開けてみると中国のエクサスパコンは見当たらなかった。その理由は分からないが、半導体の入手などに問題があり、11月のTop500に間に合わせることができなかったという可能性が大きいのではないかと思われる。

しかし、中国では複数のプレエクサスパコンが動き始めてきているようである。Inspurは済南市の国立のスパコンセンターから250PFlops規模のシステムを受注しており、成都市は300PFlops程度のシステムの導入、鄭州市のスパコンセンターは300PFlopsのシステムを計画、昆山市も300PFlops級の導入を計画しているという。

これまで中国は旗艦となるスパコンは設置されても、その次のレベルのスパコンが無く実質的に研究者が使えるスパコンが非常に少ない感じであったが、これらのスパコンが設置されれば大きく事情が変わると思われる。

また、10EFlops級の巨大スパコンの計画も予定よりはゆっくりながら進んでいるようである。

Top500のシステムの更新率は直近の2年間は多少増加傾向であったが、2021年も69システム(0.138、平均7.25年)と更新間隔はあまり短縮されていない。

• Top500スパコンの更新率は2000年代初めには30～40％と高かったが、最近では20％を下回っている

スパコンの性能向上はN=500位のスパコンは性能向上の鈍化が2008年に始まり、500システム合計の性能向上では2013年から鈍化が始まっている。この鈍化の傾向は元に戻るというよりもさらに拡大する兆候が見られる。

• Top500スパコンの性能はN=500位のスパコンの性能鈍化が2008年から始まり、2013年からは500システムの合計性能の鈍化が始まった。最近の2018年ごろからは第2段の鈍化が始まっている兆候が見られる

国別のスパコン台数は中国が第1位であるが最近では中国のスパコン数は減少している。数年前には、中国はコマーシャルのクラウドシステムなどでHPLを動かしてスパコン台数を増やすということをやったようであるが、そんなことをしても国威の発揚には役立たないことが分かったのか最近では、無理に見かけのスパコン台数を増やすのは控えているようである。

• 中国のスパコン台数が一番多いが、ここ5年くらいは中国スパコンは減っている。商用サーバをスパコンとしてTop500に登録するのを抑えたのだと思われる

現在ではスパコンの台数ベースでは中国35％、米国30％、日本6％、ドイツ5％といったところである。

• 国別のスパコンシェア。中国が35％、米国が30％で2位となっている。それに日本の6％、ドイツの5％、フランスの4％が続いている

次の図は研究用と商用で円グラフを分けたもので、中国は43％のスパコンが商用であるのに対して、研究用スパコンはわずか3％で、中国の大部分のスパコンは商用であることが分かる。

• 研究用と商用スパコンの国別シェア。中国は世界の商用スパコンの43%を設置しているが、研究用スパコンは世界の3％しか設置されていない

前の図では研究用と商用の台数シェアを示したが、次の図はそれらのスパコンの性能シェアを比較したものである。中国は研究用スパコン性能の9％が設置されているだけであるのに対して、商用スパコンは18％の性能が設置されていることになっている。日本には研究用の性能の35％が設置されているが、これは富岳が大きな比重を占めているからである。

• 世界のスパコン性能の、研究用と商用の設置シェア。商用は、米国が39％、中国は18％となっており、米国がスパコン利用の先進国であることが分かる

メーカーごとの性能シェアを示したのが次の図で、HPE/Crayが19％、富士通がそれに次ぐ18％となっている。これも富岳の大きな貢献が影響している。中国のLenovoの15％は、欧米にも販売しており、中国オンリーのメーカーではなく世界的に有力なメーカーであることを示している。

フランスのAtosが8％、スパコンとしては歴史の浅いNVIDIAが5％というのは健闘というべきであろうと思う。

• メーカー別の性能シェア。HPE/Crayが19％でトップ。富岳効果もあり、富士通が18％で続いている

チップの性能シェアは、研究用ではArmが29％でトップであるが、これには富岳効果も入っている。AMDが入っているスパコンが研究用では19％、商用では50％で、AMDのシェアの増加が著しい。

• チップ別の性能シェア。研究用ではARM CPUが29％、AMDが使われているのが19％。AMDは商用では50％程度のシェアで使われている

次の図は、スパコンを研究用、商用、Top500と区別して、性能向上の傾向を分析した図であるが、最近ではオレンジ線の研究用スパコンのシステムサイズの向上が少なく、一時は、商用と差がないあたりまで下がってきている。しかし、これが何を意味するのかは、まだ、はっきりしない。また、Microsoft AzureのVoyager-EUS2のようなクラスタスパコンが増加し、研究用/商用というスパコンの用途別のカテゴリ分けは無くなって行く可能性もある。

• エントリスパコンを研究用、商用、Top500と分類し、カテゴリごとのシステムサイズの増加を纏めた図。研究用スパコンの規模拡大が鈍っているように見える

SC21でのTop500のまとめであるが、

• 富岳は1位の座を守った
• システムの更新の比率は低いままである
• 中国の新システムの導入が低調
• 新しいシステムの40％はAMDのEPYCプロセサを使用
• Top500は2017年から新たな性能スローダウンが始まっている
• 最初のムーアの法則によるスケーリングの鈍化
• この傾向がエクサスパコンの遅延に影響しているのか？

• SC21でのTop500の注目点のまとめ