GTC Japan 2013 - 東工大スパコン「TSUBAME」に見るエクサスケールへの道

NVIDIAは7月30日、都内で5回目の開催となる「GPU Technology Conference 2013」(GTC Japan 2013)を開催し、同社の最新GPUの動向やスーパーコンピュータへの適用動向、HPC分野への応用などについての説明などを行った。今回のGTC Japan 2013は55のセッションが開かれ、1500名の応募があったという。

基調講演後の特別招待講演には東京工業大学(東工大) 学術国際情報センターの松岡聡教授が登壇し、同大のGPUスーパーコンピュータ「TSUBAME2.5」の概要と、次世代スパコンTSUBAME3.0、ならびに新たな取り組みについての説明を行った。

東工大のスパコン「TSUBAME」シリーズについては、これまでにもGPUコンピューティングを活用したスパコンとして、その概要や成果について幾度となくお伝えしてきたので、詳細についてはそれらを参照していただければと思う。では、そうした数々の成果を生み出してきたTSUBAMEをなぜ現行の2.0から2.5にバージョンアップする必要があったのか?。

TSUBAME2.0から3.0へのメジャーアップデートで性能向上が図られることはすでに計画されていたが、適用されるプロセッサの開発遅れなどの外的要因に加え、大学内だけでなく産業界との連携により稼働率が向上した結果、「繁忙期には稼働率100%を実際に体験し、良く動いていたな、と感心したくらい」(松岡教授)にひっ迫した状態に追い込まれ、機会損失が発生するようになってきたことが今回のアップデートに至った経緯だという。特に、「リソースのひっ迫は年を追うごとにひどくなっていくことが予想された」とのことで、早々に性能増強を実現する必要があったという。

そこで問題となったのが、決して安くない性能増強をどうやって実現していくかという点。どのようなアクセラレータに置き換えるのが良いかの検討から始まり、単にGPUを入れ替えればそれだけで本当に性能が向上するのか、実際の研究者に役立てるシステムを維持できるのか、消費電力の問題は解消できるのか、などなど、単にアップグレードを行うといってもさまざまな技術課題に直面し、それを1つひとつ解決していった結果がTSUBAME2.5であるという。

具体的にはXeon Phiなど複数のアクセラレータを実際にさまざまな角度から性能評価を行った結果、(NVIDIAの最新世代GPUアーキテクチャである「Kepler」を採用した)「K20X」とXeon Phiではアプリケーションにもよるが、かなりの性能差が生じることが確認されたとのことで、結果としてK20Xの導入を決定したという。

また、スパコン性能ランキングの指標となるLINPACKベンチマークについては、従来のアルゴリズムを用いると性能があまり向上しないことも判明。そのために、NVIDIAと協力して新たにチューニングしなおしたとする。さらに、実際のアプリケーションの場合、ネットワークのバンド幅とメモリのバンド幅の比率が問題になるがTSUBAME2.5では76:1という高い比率になってしまうことから、どの程度の影響がでるかを調査したり、通信速度と計算速度の差がボトルネックになることがこれまでの研究から分かっていることから、コミュニケーションをなるべく効率化する新たなアルゴリズムを考案することで通信を隠すことにより効率化を図ることができ、十分な性能を発揮できる確証を得たとした。

なお、TSUBAME2.5は2013年秋の立ち上げを目指し、現在、約4000枚のGPUの交換作業を開始した状態にあるという。これにより単精度の理論演算値は17PFlopsとなり、理論値としてはスーパーコンピュータ「京」を超すこととなる。トータルのシステムとしての性能としては、TSUBAME2.0と比べ、単精度で3.6倍、倍精度で2.4倍、実測メモリバンド幅で2倍弱程度に引き上げつつも、その消費電力はTSUBAME2.0比で1割から2割程度の削減が見込めるとのことで、「京に対して、1/10程度の消費電力で実アプリケーションにおける実行精度という意味では良い勝負を行うことができるようになるとみている」と、その性能の高さと消費電力の低さを強調する。

また、TSUBAME2.5の導入時期に併せて、システムの消費電力低減に向けた実験として、油浸冷却を行う「TSUBAME KFCプロジェクト」も運用が始まる予定だという。これによりTSUBAMEを効率よく冷却することが可能となり、うまくいけば現行の電力対性能比のランキング「Green500」の1位のシステム(3.2GFlops/W)に対しても圧倒的に高い消費電力あたりの性能を見せることができるようになるとした。

次世代スパコンとなる「TSUBAME3.0」については2015年後半から2016年前半にかけて導入が予定されており、さまざまな新しい技術を導入していく計画だという。それが将来的なエクサスケールの実現につながっていくことになるほか、「今のビッグデータは企業が持っているデータをマイニングする程度で実は大してデータ量としては大きいものではない。しかし、将来のビッグデータ、本当の意味でのビッグデータを処理するためには圧倒的な計算性能が必要で、そうなれば高い性能を持つスパコンが求められることとなる。そうした真のビッグデータを制するためにはスパコンをどう活用していくかがカギになる」とし、そうした将来のニーズに応える技術の実現に向けたリーダーシップをTSUBAME3.0で発揮していくことで、スパコンの未来が切り開かれていくことを期待してもらいたいとした。