NTTドコモが研究開発の成果を発表する「docomo Open House'22」では、XRのコミュニケーションを向上させる新たな技術が公開された。「3Dアバターを用いた表情伝送の取り組み」と題してデモンストレーションされたその技術は、3Dアバターによりリアルな本人の表情を伝送しようというものだ。
-
遠隔接客などで活用が期待される表情伝送のデモンストレーション。右側のPC前に座ってカメラに向けて表情を作ると、それが左のタブレットに表示されるアバターの表情として再現される
XR空間では、アバターが重要な要素となる。アバターを利用すれば本人自身を3D化するだけでなく、全くの別人や別存在になることもできる。そうしたアバターで自然なコミュニケーションを実現するためには、適切な表情を再現できるというのが大事なポイント。これを可能にするのが今回デモンストレーションされていた技術だ。
-
コミニュケーションにおいて表情は重要な要素のひとつ。自分の表情がそのままアバターに伝送されれば、対話がより自然で滑らかになる
-
顔だけを男性に切り替えたところ。男女の区別も人物の区別もなく、自由に切り替えられるのはアバターのいいところ
この技術を利用すると、自分の実際の表情をカメラで認識し、その表情をリアルタイムに伝送して、同じ表情をアバターに再現させることができる。特徴となるのが、伝送された表情に対して、あらかじめ決められた表情の中から近いものが選択されるというわけではなく、その表情自体をアバターが再現するという点だ。
-
アバターは女性でも、中の人は男性。画面左上の自撮り画像を見ると、アバターが同じ表情をしているのが分かる
-
大きく表情を変えると分かりやすい
3Dアバターが現実の人間をベースにしている場合、事前に複数の角度からの撮影データは必要だが、いったん撮影しておけば、「中の人」が変わっても、同じアバターで多彩な表情を再現できるという。
表情だけでなく視線も認識し、アバターが再現するので、対話相手とのコミュニケーションがよりスムーズになる。リアルな3Dアバターだけでなく、アニメ調のアバターでも再現できるとのことなので、特定のキャラクターをアバターにして、自然な表情を再現することもできそうだ。
-
アニメ調のアバターにも変更可能
この技術の用途としては、コールセンターや無人店舗などの接客現場での利用を想定。表情が自然なので実際の人間と対話しているような臨場感が得られるとしており、接客のために現場に行かなくても、同等の対応ができるようになれば働き方改革や地方創生に繋がる……としている。
-
これは接客には適さない表情だが、無機質なアバターの接客ではなく、自然な対話で接客ができるというのがこの技術のポイント
現時点で想定されている主な利用シーンは遠隔接客とのことだったが、ビジネスからエンターテインメント、プライベートまで、様々な領域に応用できる研究という印象だった。
