Intelの機械学習用トレーニングチップ「Spring Crest」の性能を読み解く

FP32は精度が高く、表現できる数の範囲も広いがチップ面積や電力効率は良くない。一方、FP16は面積や電力効率は良いが計算の収束性では中程度の評価である。BFLOAT16は面積や電力効率が良く、収束性も良い。Spring Crestでは、積の計算にはBFLOAT16、その和の計算にはFP32を使用し、最高の精度で、効率の高い計算ができる