富士通研究所は5月26日、中国・富士通研究開発中心有限公司（FRDC）と、カメラで撮影した映像から、複雑な手洗い動作を認識するAI「行動分析技術 Actlyzer（アクトライザー） 手洗い動作認識」を開発したことを発表した。

  • 手洗い動作認識画面のイメージ

    手洗い動作認識画面のイメージ

両社が開発したのは、映像から人の様々な行動を認識するAI「行動分析技術 Actlyzer」に手指動作の認識機能を拡張させ、手洗い時の複雑な手指の動作を両手の全体形状と手洗いの一連の動きから自動で認識するAI「行動分析技術 Actlyzer手洗い動作認識」。

手洗いの複雑な手指動作を、両手の形状とこすりの反復動作の組み合わせとして捉え、「両手形状認識」と「動き認識」の2つのディープラーニングエンジンにより検出することで、手の重なりや泡で指先や関節の特徴点が正しく検出できない問題を解決するという。これら2つの認識エンジンによる結果を相互にフィードバックすることで認識精度を向上させるということだ。

  • 複雑な両手指の動作を両手の全体形状と動きパターンの組み合わせとして認識

    複雑な両手指の動作を両手の全体形状と動きパターンの組み合わせとして認識

この技術により、人やカメラ位置、石鹸の種類など約2000のバリエーションを持つ手洗い映像データセットを独自に撮影・収集して学習と評価を行い、厚生労働省が推奨する正しい手の洗い方6ステップにおいて95%以上の平均判定精度で動作認識でき、手をこすった回数の判定精度が90％以上であることを確認できたという。

また、同技術の活用により、食品事業者など衛生管理が必要な現場における手洗いの実施漏れ防止や監視員による目視確認の工数削減を実現するとともに、人々の食の安全確保や感染症予防に貢献するとしている。