NTTデータは3月16日、「NTTデータR&Dフェスタ2021」と題するオンラインイベントを開催した。本記事ではその中から、「マルチモーダルAIによる多面的な情報を考慮した行動認識」の内容を紹介する。

講演者の藤城真祥氏

同セミナーの講師は、同社 技術革新統括本部の藤城真祥氏。マルチモーダルAIという言葉をご存じない方もおられるだろう。これは、例えば音声と映像、映像の中の全体像と骨格といった、複数の入力情報を使用するAI(人工知能)のことだ。

このセミナーでは同技術の使用例(ユースケース)として、街頭などでの不審行動・迷惑行為の検出と、COVID-19(新型コロナウイルス感染症)対策向け衛生管理のための接触検知の2つを紹介した。

  • マルチモーダルAIの概要

まず1つめの、不審行動・迷惑行為の検出から見ていこう。

例えば、公共空間などでの不審行動や迷惑行為の管理は、現在は複数のモニタ画面を人間が目視で行っていることが多い。しかしこれでは、見落としも発生しやすい。さらに、複数の人物が集まり大声を出して騒いでいる場合は、映像だけでは判別できないのが現状だ。

  • 映像と音声を使用する不審行動などの検出

実際に、シングルモーダルAIとマルチモーダルAIでの検出の様子を見てみよう。

走っている人の検出では、シングルモーダルAIでもマルチモーダルAIでも同様に検出できている。しかし、複数人が大声で騒いでいても、映像のみのシングルモーダルAIでは単に「座っている人たち」としか認識できない。だが、音声も使用するマルチモーダルAIなら、「大声でたむろしている集団」と判定可能だ。

「このように、判定した上でアラートを上げることで、見落としを減らすことができると考えています」(藤城氏)

  • 不審行動などの検出デモ

2つめの使用例は、衛生管理のための接触検知だ。

コロナ禍の影響で、オフィスでの職場安全管理や職場危機管理の領域として、ファシリティやデバイスの衛生管理の徹底に関するサービスが求められていると藤代氏は語る。

「具体的には、誰が利用したのか、消毒はされたのかといった、新たなデータ管理の需要が高まってきています」(藤代氏)

  • 新たなデータ管理の需要

この分野では、人と物との情報を、相互関係の情報を使用するマルチモーダルAIによって接触行為や清掃行為を検知し、清掃作業の漏れを無くすことで、安心・安全なオフィスの提供を支援可能だという。

  • 接触箇所と清掃作業の検知

接触検知では、腕とパソコンやマウスの位置関係から、操作したかどうかを判定して接触を検知する。清掃作業については、腕と除菌シートの位置関係から清掃を判定し検知する。

例えば、清掃した場所を緑枠、していない場所を赤枠で表示して、清掃忘れを明示できる。これとアラート機能を組み合わせれば、利用者に共用品の清掃作業を徹底するよう促すことができると藤城氏は説明する。

  • 清掃作業検知の様子

セミナーのまとめとして藤城氏は、今回紹介した技術の適用予定とさらなる高度化に向けた取り組みを紹介した。

適用予定としては、迷惑行為の検知を公共空間や街頭、店舗での不審行動・迷惑行為の監視業務に導入予定という。

職場の安全管理・危機管理については、オフィス管理を対象としたソリューションの機能として、行動認識技術を組み込む予定とのことだ。

高度化に関しては、「検知した人の行動をオペレーションの最適化を支援するAIの開発に取り組む予定です」と藤城氏は語る。

例えば、工事現場や建設現場といった危険を伴う現場で、手順に従った作業をしているかや危険に繋がる行動をしていないかを管理して、現場監督員の負担の低減を目指しているという。

小売店などでは、店舗運営で必要となる防犯対策・人員配置・人員育成をAIで支援し、少人数での店舗オペレーションの実現を視野に検討を進めていると紹介し、藤城氏はセミナーを締めくくった。