東芝は5月8日、工場の製造ラインなどにおける不良や欠陥の種類を高精度にグループ化することで生産現場での生産性向上を可能とする「教師なし画像分類AI」を開発したことを発表した。

AIによる画像分類は、人が付けた教師ラベルをもとに分類モデルを学習する「教師あり画像分類」と人手に基づく教師ラベルなしに、画像間の類似性などに基づいてデータをグループ化する「教師なし画像分類」の2つに大きく分けられるが、人手を介する教師あり学習モデルの方が精度は高い一方、人が予想できない欠陥を見つけるという観点からは教師なし学習モデルの方が向いているとされ、さまざまな不良や欠陥が生じる製造現場での活用には教師なし学習モデルの活用が期待されている。課題は、その精度向上で同社でもグループの半導体製造ラインにおける品質検査に基づく欠陥画像を活用して、AIに欠陥の特徴を学習させて、似たような欠陥をグループ化させる手法の開発を進めてきたという。

  • 教師なし画像分類によって、欠陥の特徴ごとにグループ化ができるようになる

    教師なし画像分類によって、欠陥の特徴ごとにグループ化ができるようになり、人が予想しない欠陥も見つけることができるようになる (資料提供:東芝。以下すべて同様)

しかし、これまでの学習においては、製品検査時に不要となる背景パターンの特徴もAIが個別に認識してしまっており、そこまで精度を向上できなかったという。実際、半導体の欠陥としては配線パターンのショートや断線などが多いわけだが、配線も常に直線とは限らず、その正常な配線パターンごとにグループ分けがされてしまうと、欠陥+背景の配線パターンという無数のグループ分けとなってしまうという課題があったという。

  • 従来は背景パターンを含めて特徴として検出していた

    従来は背景パターンを含めて特徴として検出していたため、グループが細かく分かれてしまい、欠陥系統別に分けるといったことが難しかった

そこで今回の研究では、同社独自の教師なし学習手法「IDFD」の改良版となる「cIDFD(consrastive IDFD)」という手法で、表面の欠陥だけでグループを割り振れる手法を考案したという。具体的には、欠陥を含む目的画像と、背景だけの正常な画像の2つのデータセットを学習させることで、こういった特徴は無視をしても問題ないということを学習させて、欠陥だけを背景のパターンの向きなどがどういうものであったとしても検出できるようにした手法だという。

  • cIDFDでは、欠陥を含む目的画像のほか、欠陥を含まない背景画像のみも別に学習させる

    cIDFDでは、欠陥を含む目的画像のほか、欠陥を含まない背景画像のみも別に学習させることで、背景画像がどのようなものでも問題ないということを認識させることに成功したという

また、背景の向きなどは学習データと一致していなくても、こういうパターンは正常という認識となるため、範囲や向きなどを指定することなく、ただの正常画像だけを教えるだけとなるため、労力もかからない点も特徴となるという。

実際に、複雑な画像を用いた検証として、鳥を目的画像とし、その背景として風景画像を学習させて、144種類の鳥の中から赤い鳥だけをまとめるという実験を行ったところ、従来のIDFDでは背景の花や木などの影響を含めた分類となり分類精度は48.6%といった程度であったものが、cIDFDでは風景を無視して同じ鳥同士をまとめることができ、73.8%にまで向上。人間と同じ程度の精度で分類できることが確認できたという。また、手書き文字+縞模様の組み合わせでは、従来手法(IDFD)では分類精度27.6%であったものが83.0%まで向上したことも確認したとしている。

  • 分類をさせた際の精度
  • 分類をさせた際の精度
  • 従来のIDFDと今回のcIDFDで分類をさせた際の精度

日本のものづくりにおける欠陥率は低いこともあり、同社では正常であることが分かっているときに、正常ではない欠陥を分けるパターンが多い。正常な画像データさえあれば、cIDFDにそれを与えることで、正常ではない欠陥部分の特徴を学習して、丸や四角といった種類まで分けてくれるようになり、労力をかけることなく高度な分析プロセスを実現できるようになることが期待できるようになるとしている。

そのため、まずは今回の開発技術をグループの半導体工場に導入を進め、さまざまな検査工程や製品に適用する形で性能実証を今後行っていく計画としており、その実証結果を踏まえた改良およびさらなる精度向上を進め、早期の実用化を目指したいとしており、その際には外販も検討したいとしている。

  • 半導体製造においては多くの工程で検査が行われている

    半導体製造においては多くの工程で検査が行われているが、そこで検出された欠陥の分類は難しかったが、cIDFDを活用することで分類が可能になるとする

なお、同成果は5月7日から10日にかけて台湾で開催されている国際会議「PAKDD2024(Pacific-Asia Conference on Knowledge Discovery and Data Mining)」にて発表された。