GTC 2019 - NVIDIAのDGX-2をプログラムするのに知っておくべきこと(3) DGX-2で複数GPUを使用して性能を上げる方法

複数GPUのスケーリング

複数GPUを使用して性能を上げる場合、GPU数に比例してサイズの大きな問題を同じ処理時間で解くWeak Scalingというやり方がある。

Weak Scalingは各GPUが受け持つ仕事はGPU数によらず一定で、GPU数が増えると大きな問題が同じ時間で解けるようにする

理想的なWeak Scalingではノード数(例えばGPU数)が変わっても処理時間は変わらない。

Weak Scalingでは各ノードが受け持つ仕事は一定で、理想的には処理時間はノード数にかかわらず一定である

これに対して、問題のサイズは一定で、ノード数が増えると各ノードの処理量が減少するStrong Scalingというやり方がある。

Strong Scalingではノード数に逆比例して、各ノードが受け持つ仕事が減る

理想的なStrong Scalingではノード数の逆数で解を得るまでの時間が短くなっていく。

理想的なStrong Scalingではノード数に逆比例して解を得るまでの時間が短くなる

MERGESORTの例

一例として、MERGESORTでは、前半はリスト全体を半分、半分というように次々に分割して行き、1要素になるまで分割する。そして、後半では、分割された2つのサブリストから1つの要素を取り出し、大小関係が正しくなるように併合する。これを繰り返して順に要素を大きくして行き、最後には値の大小の順が揃った1つのリストにする。

MERGESORTでは、リストを2分し、それを繰り返して1要素まで分解する。そして整列させながら2要素、4要素、8要素とサブリストの長さを倍増させて行き、1つの整列したリストを作る

リストAとリストBは内部では正しい順序になっているとする。そして、AとBのリストを纏めて1つの正しい順序のリストを作る場合を考える。この時、AとBのリストの要素を順番に見て正しい順序になるように選んでいくのが一番分かりやすいが、これでは並列処理ができない。

ここで取り上げる方法は、リストAの全要素についてA[i]<B[j]となる最小のjを求め、A[i]を結果のリストDのD[i+j]に格納するというやり方である。このやり方であれば、リストAのすべての要素でそれぞれに対応するjのサーチを並列に実行することができる。

なお、最小のjを見つけるにはバイナリサーチを必要とする。

並列MERGESORTでは、Aのリストの全要素のリストDでの格納場所を並列に求める。これにより、GPUの多数スレッドでの並列処理ができるようになる

この図で並んでいる青い箱には、MERGEするリストAとリストBの要素が交互に入っている。そして、マージの最初のステップではAとBの1要素を2要素のリストにマージする。そのためにライトバッファへの書き込み場所を前述のアルゴリズムにしたがって計算する。そして、書き込みを行い、並列に動作しているカーネルを同期する。

そして、書き込んだバッファを次回の入力にして、不要になった入力バッファを次回の書き込みバッファにする。

1回目は1要素同士を整列して、長さ2の整列されたリストを作る。そして、出力バッファを次回の入力バッファにし、使い終わった入力バッファを次回の出力バッファにする

2段目は2要素のリスト同士をソートして4要素にする。そして、3段目は4要素のリスト同士をソートして8要素にという風にして、最終的には1つのリストを作り上げる。

このプロセスを繰り返し、次々に整列されたサブリストのサイズを倍増させて行く

このMERGESORTでは2MBのGPUのページを使い、スレッドやデータのアライメントには特に気を使わなかった。しかし、1台のGPUには80SMあり、それぞれのSMで1024スレッドを動かしているので、16GPUでは1回のReadで10,485,760バイトを読んでおり、全体としてはほとんどメモリアクセス量の偏りは出ない。