215mm角のCerebrasの巨大マシンラーニングエンジン - Hot Chips 31

しかし、このようなウェハスケールLSIを作るにはいくつものチャレンジがあった。

第一のチャレンジは露光の単位で作られる分割されたダイの間の接続である。通常のLSIでは1回の露光でパターンを形成できる3cm角程度の面積が1つのチップとなり、それらを分離して個別のチップとするためのスクライブラインが作られる。

これではウェハ全体を1つの巨大なLSIにすることはできない。

キャプションがここに入ります

CerebrasのWSEに見られる黒い丸を繋いだ部分が通常のウェハのスクライブラインの部分である。CerebrasはTSMCに掛け合って、スクライブラインの部分に隣のタイルと接続する配線を作ってもらい、この配線でタイルを2次元メッシュ状に接続している。次の図に青線で描いたのがスクライブラインの領域に作ったタイル間を接続する配線である。この部分に配線を作ることにより、ウェハ全域をカバーする2次元メッシュを作って40万個のコアを接続している。

通常は配線を作れないスクライブラインの領域に、タイル間を繋ぐ配線を作り、全部のコアを繋ぐ2次元メッシュネットワークが作れるようにした。これでタイルをまたぐ高バンド幅、低レーテンシの通信が可能となった

2番目のチャレンジは歩留まりである。全部で40万個のコアがあるので、平均的に製造不良のコアは1万個に1個としても、平均的には40個の不良コアがある計算になる。これでは完全良品のWSEは作れない。

40万コアが集積されているので、全コアが良品となる確率はほとんどゼロである

そこで、冗長設計を行った。右の図のように、不良コアがあった場合には、配線を変更して不良コアを避けて一番上の行にある冗長コアを組み込む。これで全部のコアが動作する完全良品が作れる。なお、一列に2個以上の不良コアがある場合は、このやり方では良品にはできない。

一番上の列に冗長コアを用意しておき、不良コアがあったら、配線をずらして、不良コアを切り離し、冗長コアを使用する

3番目のチャレンジはパッケージの熱膨張である。シリコンの熱膨張率は小さいが、PCBボードの熱膨張率は大きい。このため、ある温度でパッケージのピンが上側のWSEと下側のPCBボードに接触したとしても、温度が変わると、接触しなくなってしまう。チップが小さい場合はずれも小さいので問題になりにくいが、WSEのような巨大なチップでは大きな問題になる。熱膨張の小さいFR4プリント基板でも15ppm/℃程度であり、30℃温度が変わると450ppm伸び縮する。

WSEの場合、対角線の長さは約300mmであるので、その450ppmは0.135mmとなる。このため接点には横方向のストレスが掛かり破壊してしまう。また、接点をスライドさせれば破損しないが、高密度の接点では接点がパッドから外れてしまう。

シリコンの熱膨張率は小さいが、プリント基板の熱膨張率は大きい。WSEのようにサイズが大きいと膨張のずれが大きく、機械的なストレスも大きい

これは非常に難しい問題であるが、Cerebrasは膨張率の違いを吸収するコネクタを開発したという。次の図で見ると多少柔らかいゴムのような素材にコネクタのピンを植え、伸びの大きい周辺部ではピンをより斜めにしてずれを吸収する。ただし、斜めになったピンは高さが少し減少するため、接点への接触圧が減るのでコンタクトが心配であるが何とかなっているようである。

あるいは、多少、ピンを長めにしておいて撓んでプリント板のパッドに接触するような設計になっているのかもしれない。いずれにしても、ピンの付きあてで多数のピンを接触させるのはデリケートである。

そして、もう1つの問題は、どうやって、ピンの傾きをプリント基板の伸びに合わせるかである。これについてはCerebrasはうまく解決している。WSEの写真を見るとスクライブラインの交点の部分に黒い丸があるが、実はこの部分はウェハに穴が開いている。この穴にねじを通しコネクタの下面をプリント基板に密着させ、コネクタの上面はWSEに密着させれば、それぞれの接触面の膨張と一致した伸びが得られる。ただし、この図に見られるように、上面はWSE直接ではなく、青色で書かれたインタポーザがあり、WSEシリコンにはダイを保護するダイレチクルが付いている。