Intelの機械学習用トレーニングチップ「Spring Crest」の性能を読み解く

左の表は2kBと小さなデータのAllreduceのレーテンシの測定結果。8カードまでは9μsと高速である。クロスシャシーとなる16カード、32カードではそれぞれ30μs、36μsとレーテンシが伸びているのはシャシー間を接続するケーブルの遅延が効いていると思われる。右の表はデータサイズを変えてAllreduceのデータ伝送速度を測定したもので、1MBのデータで8チップの場合は68.7GB/sに対して32チップでは39.9GB/sに低下している。これはチップ数が増えて通信回数が増えたことによると思われる。128GBの場合は、データ量が大きいので、チップ数の違いは目立たなくなっていると思われる