Lattice、sensAI 4.1の提供を開始 - 今後の製品ロードマップも開示

Lattice Semiconductorは米国時間の11月10日、同社のFPGA上で動作するAI向けソリューションスタックであるsensAIのVersion 4.1の提供を開始した。またこれに合わせて今後の製品ロードマップも公開した。

sensAIは2018年から提供を開始している、同社のFPGA上で動作するAI Solution Stackである。2019年にはVersion 2.0、2020年5月にはVersion 3.0がそれぞれ提供され、今年5月にはSensAI 4.0がEmbedded Vision Summitに合わせて発表されていた。

さてそのsensAI 4.1の新機能であるが、新たに「人感検出」「アテンショントラッキング」「物体分類」といった機能が加わり、またsensAI Studioの統合やNN Compilerなどが追加され、さらにCNN Plus AcceleratorというIPが加わっている。「CertusPro-NX 音声/ビジョンMLボード」は別にsensAI 4.1の一部ではないが、新しく利用できるようになった評価ボードである。これらを利用して、Client Computing Experienceを実現できるようになる、というのが今回の趣旨である(Photo01)。

Photo01:黄色の枠で囲われた部分が従来からの変更点というか追加点となる

ここで言うClient Computing Experienceとは何か？という話だが、sensAI 4.1を利用すると、Client PCに新たな機能を追加することが出来る(Photo02)。

Photo02:もちろん、これらは従来のPCそのままでも不可能ではないが、LatticeのFPGAベースとすることで、より性能を引き上げつつ消費電力を削減できることになる

いずれもカメラを利用したもので、人感感知とかはすでにそれを実装している例もあるが、Attention Tracking(画面を見ていない時にはバックライトの輝度を落とす)、のぞき見検知(のぞき見を検知したら画面にぼかしを掛けてプライバシー保護を行う)などは、カメラ映像をAIをベースに処理する必要があり、こうした実装をsensAI 4.1を利用して容易に行える、という話である。

顔追跡機能を持ったカメラは、むしろ外付けのUSBカメラなどの用途向けという気もするが、LatticeのFPGAを使えばそうした実装が低価格に行えるという訳だ。ちなみにAttention Trackingに関して言えば、これを利用する事で大幅にバッテリー寿命を延ばせる可能性がある、とする(Photo03)。

Photo03:どれだけ集中して作業するかという話でもあって、本当に画面をずーっと見続けて作業を行っていれば当然バッテリー寿命伸延の効果は薄いが、煩雑に作業が中断するような環境では効果が大きそうだ

ちなみに実装にあたってのsensAIのメリットは、顔の画像そのものを使うのではなく、顔画像から必要な要素を抽出、これをベースに判断を行うので、画像が蓄積されるというプライバシーの問題が発生しない事も挙げられるとする(Photo04)。

Photo04:すでにこのモデルは複数のデータセットで、かつさまざまな条件でのストレステストを行っているので、ユーザー側で改めてこうしたストレステストやそれに合わせてのチューニングを行う必要が無い事もメリットの1つであろう

こうした処理をASSPベースと比較した場合、CrossLink-NXベースだと最大20倍の性能と7倍の性能/消費電力比が実現できる、という話であった(Photo05)。

Photo05:ただこれ絶対的な消費電力という観点で見ると、ASSP1を1とした場合にASSP2が6.2、CrossLink-NXは10.6という数字になる訳で、この絶対消費電力の大きさは問題になりそうではある

この数字をそのまま鵜呑みにすると、キャプションに描いたようにCrossLink-NXやCertusPro-NXを使うと絶対的な消費電力は増えてしまう形だが、(Attention Trackingまで実装できるかは謎だが)人感検出だけであればiCE40 UltraPlusなどの低消費電力品に載せる事も出来るという話で、またCrossLink-NXを使う場合でも、例えば判断する頻度をASSP1と同程度まで落とせば消費電力は1/20になる計算だから、あとは要求性能と消費電力のバーター、という事になる。

ちなみにそれ以外の用途ということで、Photo02に追加された物体分類の例であれば、224×224pixelのRGBカメラでの物体認識がCertusPro-NXを使うと33fps、400mWで実現できるという例も示された(Photo06)。

Photo06:バーコード認識も厳しそうだが、欠陥検出はもう少し解像度を上げないとかなり厳しいような気がする。ロボットナビゲーションならこれでも良さそうだが

Lattice sensAI Studio(Photo07)は今回初めて追加という訳ではなく、sensAI 4.0のタイミングで提供されているものである。このsensAI Studioは、どんなNeural Networkを使い、どんなデータセットを与えてトレーニングを行うか、という作業を支援するためのツールである。これを利用する事で、エンドユーザーが容易に自身が必要とする独自のネットワークを構築できるようになるというものだ。

Photo07:sensAI Studioは無償で提供される

最後に今後のロードマップ(Photo08)について。まずSolution Stackとしては2022年前半中に5GのORAN向けStackが提供されるほか、その次のSolution Stackも開発中だそうである。一方ハードウェアでは、Samsungの28FDSを利用したNexus Platformは2022年前半に5番目の、おそらく2022年後半には6番目の製品が追加投入される予定である。それとは別に、2022年後半には別のプロセスで製造される「Lattice Avant」という新しいシリーズが予定されているという話であった。