Sequoia25での電力測定
Sequoiaはピーク性能20PFlopsでTop500 3位のシステムであるが、これに5PFlopsのVulcanシステムを連結したのがSequoia25というシステムである。なお、このシステムは、その後、切り離されてしまったので、Top500のリストには登録されていない。
Sequoiaの給電は、電力会社から受電する6台の2000KVAのトランスからそれぞれ分電盤につながり、分電盤から16分岐してPDUに繋がっている。そして各PDUがSequoiaの1筐体に電力を供給するという構成になっている。
そして、分電盤の入力のところと16台のPDUへの出力のところに、瞬間電力とエネルギー積分値を計測できるシーメンス製の電力計が設置されている。
結果を集計したところ、分電盤の入力と出力の測定に9.2%の違いがあり、調査したところ、120台の電力計のうちの11台に設定ミスがあり、正しい結果が報告されていないことが分かったと言う。
結果として、全システムの電力を実測していないのでレベル2の測定ということになってしまったのであるが、その他の点では、レベル3のすべての要件を満たしているとのことである。
結果として、エネルギー効率は1861.41MFlops/Wとなり、これはネットワークを除外したレベル1の測定と比較して約12%低い値であるという。
Piz Daintでの電力測定
Piz DaintはTop500 6位のスパコンで、今回のGreen500では3186MFlops/Wで4位、ペタフロップス以上のスパコンでは、第1位の電力効率として表彰されたシステムである。Piz DaintはCRAYのXC30スパコンで、Xeon E5-2670 2ソケットに2台のNVIDIAのK20xを接続した計算ノードを使っている。その意味では普通の市販のスパコンと言えるが、Piz DaintはGPUを使いながら、ピークFlopsの80.5%のHPL性能を実現している。
GPUを使い慣れた東工大でも、HPL性能は、TSUBMAE-KFCではピークの69%、TSUBAME2.5ではピークの50.7%である。これに比べるとPiz Daintの80.5%驚異的で、これがPiz Daintの電力効率が高い主因である。
なお、筑波大のHA-PACS TCAシステムもピークの76.1%のHPL性能を達成しており、これがGreen500 3位を獲得する上で大きく貢献している。
Piz Daintは、計算ノード筐体が27、2筐体ごとにブロワー筐体がついており、これが合計17筐体存在する。Piz Daintでは、これらの筐体に電力を供給するPDUの部分に電力計を設置している。また、HPLの実行にはファイルは不要といっても、OSを動かしたりするためなどにはファイルは必要なので、ファイル1筐体の電力も測定に含めている。
結果として、平均電力は1754kW、電力効率は3186MFlops/Wとなった。これに対して、インタコネクトの電力などを含まないレベル1測定では3864MFlops/Wとなり、これに比べるとレベル3測定は約17.6%低い値となっている。また、この3864MFlops/WはHPL実行の全コアフェーズの平均電力を使って計算したもので、電力の少ない20%の期間の値を使えば、さらにレベル1測定によるMFlops/W値は向上するという。
Green500の将来の課題
3864MFlops/WのスコアでもPiz Daintは、Green500ではTSUBAME-KFCに次いで2位になる値で、公平なランキングを行うためには、レベル2、3の測定に統一したいところである。
また、ファイルシステムなどはどこまで測定に含むのか、データセンターの冷却の電力をどう扱うか、電力計の精度の規定など、電力測定の方法を改善していく必要があるという。
そして、現在は、ワークロードとしてHPLを使っており、主にプロセサとメモリしか動かしていないが、ストレージやI/Oを動かすようなワークロードも考える必要がある。また、現在はシステムの規模などとは無関係に1つのリストにまとめているが、クラス別のリストを作るなども考えていく必要があるとのことであった。