LeapMindは1月31日、エッジデバイス上でリアルタイム動作するAI（Artificial Intelligence：人工知能）画像処理モデルを発表した。同モデルは、同社の超低消費電力AI推論アクセラレータIP「Efficiera(エフィシエラ）」を使用することでエッジデバイス上でリアルタイムに動作し、画像のノイズを低減して高画質化が可能だという。

従来のAI画像処理モデルでは、エッジデバイス上では計算コストの高いAIによる画像処理のリアルタイム動作は困難とされていた。また、画像を入力し画像を出力するAI画像処理に対する極小量子化は、色や解像感において画質の劣化が見られる点が課題であった。

なお、ニューラルネットワークの量子化は通常32ビット浮動小数点数から8ビット整数への量子化を指すが、同社では重みを1ビット、アクティベーションを2ビットに量子化しているとして、通常の8ビット量子化と区別するために極小量子化と呼んでいるとのことだ。

今回は、同社の極小量子化技術とEfficiera v2の性能スケーラビリティを組み合わせることで、動画カメラでのリアルタイムなAI画像処理モデル動作が可能になったという。入力画像を複数チャネルの2ビットデータにエンコードする手法であるPixel embedding技術により、高画質化にも成功している。

  • モデルへの入力画像

  • 極小量子化モデルの出力画像

  • 32ビット浮動小数点モデルの出力画像

同モデルにより、部品コストが高い高感度センサーや大型レンズがなくても、AIによる画質改善が可能なだけでなく、画質重視のカメラではスマートフォンのようなAIによる高画質化が可能となり、十分な露光時間を取れない監視カメラなどの動画カメラでも高画質化により物体認識や検査の精度向上につながるという。同モデルは2月より評価版として提供を開始する。