東芝は10月28日、人物の骨格の動きと1枚の画像を効率的に組み合わせることで、人のさまざまな行動を、少ない計算量で高精度に認識できる独自の「ハイブリッド行動認識AI」を開発したことを発表した。

「動画認識AI」の課題

製造現場では、DX(デジタルトランスフォーメーション)が進展しており、作業効率の分析や作業ミスの検知・防止を目的として、カメラ映像から作業員の行動を認識する「行動認識AI」の導入が進んでいる。

「行動認識AI」は大きく分けて、撮影した人物の映像を骨格情報に変換し解析する「骨格認識AI」と、カメラで撮影した動画をそのまま解析する「動画認識AI」がある。前者は、少ない計算量で行動を認識できることから導入が進む一方、人物の持ち物が何なのか判別ができず、認識できる行動の種類に制限があった。後者は、持ち物も含めて行動を認識できるものの、計算量が膨大で高性能な計算用のサーバーを必要とし、運用コストが高くなる課題があった。

「ハイブリッド行動認識AI」の特徴

今般、同社が開発した「ハイブリッド行動認識AI」は、人物の骨格の動きを参考にしながら、独自のAIアルゴリズムによりカメラ映像から行動を認識するために最適な画像を1枚だけ抽出する。

具体的には、行動認識に必要となる度合いを「注目度」という指標で表し、時系列に並ぶフレームの中から、「注目度」が高いフレームを選択。この技術により、「動画認識AI」と「骨格認識AI」の両者のデメリットを打ち消し合う「ハイブリッド行動認識AI」を実現した。

キーフレームとなる画像のみを利用することで、少ない計算量で、骨格情報には含まれない工具や部品などのビジュアル情報をAIに取り組むことができ、骨格と画像の情報を効率的に計算する行動認識が可能となる。

  • 独自の「ハイブリッド行動認識AI」

    独自の「ハイブリッド行動認識AI」

同社は、公開データセットを用いた評価において、特に行動認識の結果が持ち物の影響を受けるケースに対して認識精度が51.6%から89.5%と大幅に向上したことを確認したという。

同AIにより、「骨格認識AI」だけでは認識できなかった行動を区別して、詳細な作業内容や所要時間を実用的な精度で解析できるようになる。加えて、動画のフレームをすべて処理する「動画認識AI」と比較して、本AIは4.6倍高速に処理することができるため、現場への導入が進んでいる「骨格認識AI」と同様にリアルタイムでの処理が可能となる。

同社は今後、同AIを同社グループの工場や東芝ライテックの製品であるカメラ付きLED照明「ViewLED」を用いた画像解析ソリューションなどへ広く活用し、早期の実用化を目指す。