NTTドコモが研究開発の成果を発表するイベント「docomo Open House'22」。既報のとおり今年はオンラインがメインの開催だが、一部の内容はリアル会場でも出展されている。そんなリアル展示のひとつとして、VR空間にバーチャルタウンなどを作れる「DOOR」サービスも展示されていた。バーチャル空間をリアル環境で紹介するという展示だ。
-
リアルタイムのモーションキャプチャーから得られたデータを元にキャラクターが動く
その中で紹介されていたのが、「ウルトラマン リアルタイムモーションキャプチャラボ」。これは、撮影画像から3D空間を構築する「ボリュメトリックビデオ」の撮影装置が設置された「docomo XR Studio」を使い、人物のモーションをキャプチャして、そのまま3Dキャラクターで動きを再現する、というものだ。
-
XR Studio内で動き回るだけで、それがリアルタイムに反映される
モーションデータ、表情・音声データを取得して配信サーバー経由でスマートフォンやPC、VRゴーグルなどで視聴するが、全てをリアルタイムで処理しているというのが特徴だ。
舞台となったのはDOOR内にあるdocomo Open House'22のVRイベント会場。この3Dキャラクターを動かすと色々なブースに移動できるが、今回は「ウルトラマン リアルタイムのモーションキャプチャラボ」に
デモでは、XR Studioにいる3人のアクターが戦う演技をすると、その動きがリアルタイムでキャプチャされ、CGのウルトラマン／バルタン星人らに適用されて、その動きを再現されていた。
-
キャプチャラボの3人のキャラクター
-
XR Studioにいる3人のアクターの動きをキャプチャして適用する
数秒程度の遅れは発生していたが、リアルな動きが再現されていて、リアルタイムとは思えない再現性となっていた。専用スタジオが必要ではあるが、VRライブやオンラインイベントなど、リアルなVR体験を実現できそうだ。
激しい動きだが、モーションはしっかりとキャプチャーされる。ウルトラマン役のアクターが放ったミドルキックの動きが、VR空間のウルトラマンにも反映されているのがわかるだろうか
自分が全く別のキャラクターに変身して、それが自分と同じ動きをしてくれるというのも面白い体験だろう。
実際の動き。数秒の遅れはあれども、きちんと動きが反映されているのが分かる
XR Studioには、撮影画像から3D空間を再構成する「Volumetric Video」の撮影装置を設置しており、これを使ったVRコンテンツを作ったのがおなじみのPerfume。3人のパフォーマンスをVR空間上で自由視点で視聴できる「Perfume～Volumetric Video Performance～」も配信されていた。
こちらはPerfumeのパフォーマンスを視聴できる「Perfume～Volumetric Video Performance～」。VR空間上を動き回り、自由な位置からパフォーマンスを見られるのは嬉しい
リアルな動きのVRコンテンツを実現する技術として、今後のコンテンツやサービスの拡充に期待したいところだ。
