NECは6月20日、工場での組み立てなどの人手による作業において、手指を使う細かい作業をAIで識別して分析する技術を開発したと発表した。

同技術では、細かい作業の識別と、個々の作業にかかる時間の測定が可能だ。これにより、作業の手順違い/手順漏れの発見や、規定の作業時間と実作業にかかる時間の差の分析をすることが可能となり、生産性の向上が期待できる。同社は今後、製造や建設、物流、小売などの現場作業で同技術の検証を進め、2022年度中の事業化を目指す。

  • 作業を識別することで、規定値との違いが分析可能だ

これまで、肩や肘、手首などの人体の大きな動きを捉えることで、作業内容を分析する技術は開発されてきたが、手先の細かな動きを伴う作業には対応できていなかった。また、さまざまな部品や道具を用いた作業を識別するためには、部品や道具の画像を用意して、事前に登録する必要があった。

今回開発された技術は、各指の関節と指先(両手合計42箇所)の動きを基にして捉えた手指形状の特徴量と指周辺の画像特徴量との共起関係(ある手指の形と、特定の部品や道具が同時に現れる状況)を学習する方式のため、個別の部品や道具を登録して学習する必要がない。

  • 手指形状と物体(部品や道具)との共起関係の学習

これにより同技術では、数回分のお手本映像だけで学習モデルを作成し、「モジュラージャックを取る」「マイクをはめ込む」や「電動ドライバーでネジを締める」などの数十種類の細かい作業を高精度に識別することが可能になる。