TPU v2とTPU v3の性能はどの程度のものなのか？

TPU v1、v2、v3での推論性能の比較。V1では1つの推論に120ms掛かり、毎秒40推論程度であったが、TPU v2では40ms/推論程度で毎秒270推論を実行できるようにあった。推論時間が短くなったので、多くの推論をバッチとしてまとめて実行しても応答時間を守れるようになった。そして、バッチを大きくすることで、スループットが530推論/秒まで向上した