NVIDIA Deep Learning Institute 2017にて基調講演を行うシニアバイスプレジデントのBill Dally氏

2017年1月17日にNVIDIAの「Deep Learning Institute 2017」が開催された。その基調講演に登壇したのは、NVIDIAの研究部門を率いるシニアVPのBill Dally氏である。

基調講演の内容は、当然、ディープラーニングの話であるが、その前置きとして同氏はGPUの科学技術計算への貢献について語った。

2006年にCUDAがリリースされ、GPUの科学技術計算への使用が始まったのであるが、2008年には、Top500に入るシステムが作られ、2011年にはGPUを使用したオークリッジ国立研究所のスパコンがTop500で世界一になった。

そして、2012年にはGPUを使ってディープラーニングで画像認識を行ったトロント大学のチームが大幅な性能改善を達成した。この成功から、ディープラーニングの研究が急速に立ち上がってきた。そして、2016年にはディープラーニングを使うシステム(Alpha碁)が碁で世界トップレベルのプロ棋士に勝つという成果を上げた。なお、Alpha碁は、対戦の時はGoogleの開発した推論用のASICであるTPUを使って実行されたが、この年表には、学習はGPUを使って行われたと書かれている。

GPUを使用する科学技術計算の歴史

そして、米国は「Summit」と「Sierra」という名前の2つのフラグシップスパコンの開発を進めている。これらのスパコンは、IBMのPOWER9 CPUとNVIDIAのVolta GPUをNVLinkで接続した40TFlopsの演算性能をもつ3400ノード以上の計算ノードで構成される。単純に計算すると、このシステムのピーク演算性能は136PFlops以上となる。

米国のプレエクサスケールの2システムは、IBMのPOWER9 CPUとNVIDIAのVolta GPUをNVLinkで接続した40TFlopsノードを3400台以上接続する

このNVIDIAが開発している次世代GPU「Volta」であるが、2016年のGTC Europeで自動車用のXavier SoCがVoltaアーキテクチャのGPUを搭載していると発表されたが、512コアでディープラーニング性能は20TopsのVolta GPUという以外の情報は、公開されていない。

Xavierの発表資料。512コアでディープラーニング性能は20TOPS

Dally氏になぜ、自動車用のSoCで最初にVoltaが発表されるのかと質問したところ、Xavierの発表がVoltaに関する一番最初であるが、Voltaが実際に製品として出てくるのは、科学技術計算用のハイエンド品となる「GV100チップ」の方が早く、GV100は、「GTC 2017」で発表される予定だという。

今年のGTCは5月8日～11日に、シリコンバレーのSan Jose市のMcEnery Convention Centerで開催される予定である。NVIDIAは、今年のGTC 2017の参加者は1万人を超え、日本からの参加者も300人を超えると予想している。