NTT、ドワンゴ、松竹の3社は、4月29日・30日に幕張メッセで開催された「ニコニコ超会議2023」内で上演される「超歌舞伎powered by NTT」の会場で、NTT研究所の最新XR技術を用いたリアルとバーチャルが融合した新しい体験を提供したことを発表した。

「実物と見分けがつかないような立体映像ホログラム」と同一空間で会話するシーンは、SF映画ではおなじみの、XR技術の代表的な利用シーンだが、実際にこのような体験をするためには、特殊なゴーグルなどの装着が必要であり、VR酔いなどがある人など、必ずしも万人が楽しめるものではなかった。

また周囲の人からは、ゴーグル内の映像が見えないため、複数人がコミュニケーションに参加したい場合は、全員ゴーグルを装着する必要があり、その場に居る者同士のナチュラルなコミュニケーションの阻害要因となるという課題があったという。そのため、ゴーグル装着なしで立体映像ホログラムを提示する研究も数多く取り組まれてきているが、解像度が十分ではない、装置が複雑かつ大がかりになるなどの課題が残っていた。

そこでNTTは、誰もが自然なリラックスした状態で、気軽にXRコミュニケーションを楽しむことを実現するために、「裸眼XR相席対話システム」を開発したという。

  • 「裸眼XR相席対話システム」

同システムでは、「反射率・透過率の異なるハーフミラー」と、「ディスプレイと実物体群の多層的な3D配置設計」により、リアルな存在であるユーザーとバーチャルキャラクターを、シームレスに一つの交錯空間上に表現する。

ユーザーは何も装着しない状態で、鏡の前の椅子に座るだけで、立体映像ホログラムと同一空間でコミュニケーションすることができる。周囲からもその様子をそのまま見ることできるため、複数人でコミュニケーションすることも可能。

今回の超歌舞伎（松竹とドワンゴの制作により、伝統文化「歌舞伎」と最先端技術「ボーカロイド」が融合した公演）では、同システムを利用して、超歌舞伎の主演をつとめる「初音ミク」と、写真撮影なども含めた超至近距離のコミュニケーション体験を実現した。