日本電信電話(以下、NTT)は、 超高臨場な体験をあらゆる場所でリアルタイムに感じられるイマーシブテレプレゼンス技術「Kirari!」の研究開発を行い、中継先において競技空間を取り囲む新しい視聴形態「Kirari! for Arena」を実現したと発表した。

  • Kirari! for Arena の利用イメージ

    Kirari! for Arena の利用イメージ

「Kirari!」は、NTTが2015年2月にコンセプトを発表した、あたかもその場にいるかのような超高臨場な体験をあらゆる場所でリアルタイムに感じることができる世界を目指すイマーシブテレプレゼンス技術。同技術の、スポーツやエンターテイメント分野での実証等を通じて実現した新しい視聴形態「Kirari! for Arena」では、中継元で選手の映像に加えて位置情報を把握することで、従来、主に左右方向の動きによる臨場感の再現であったものが、奥行き方向を含めた前後左右の自然な動きによる臨場感の再現が可能となり、多方向から多人数で観戦する形態で、競技会場をあたかもそこへ再現したかのような空間を実現した。

  • 各技術の進展

    各技術の進展

「Kirari! for Arena」の実現にあたっては、深層学習や粒子フィルタ、レーザ光を用いて選手が見え隠れする場合でも頑健に位置情報の追跡ができる技術や、2台の4Kカメラと機械学習により、背景変化に頑健な場合やわずかな色の違いでも被写体と背景を識別できる技術が開発された。また、中継元で取得した複数のセンサ情報を用途に応じてリアルタイムに統合・加工しながら同期伝送する技術や、中継先の擬似3D表示系において自然な奥行き方向への移動を広い視域かつ複数の視点から同時に観察できる3次元実空間映像提示技術、人の顔の向きや楽器の形状により生じる方向別の音の強弱を、スピーカよりも前面に飛び出す音像に付与する波面合成音響技術、少ない数の光源でなめらかな視点移動を実現する裸眼3D映像処理・表示技術などが開発された。さらに、競技場や舞台を実物大で超高臨場に再現する提示系に加えて、講演中継等に適した簡易かつコンパクトに臨場感を体感できる表示装置の実現にも取り組んだという。

今後同社は、さらなる「Kirari!」の研究開発として、各要素技術の高度化と経済化を進めるという。高度化については、物理的な空間を超える技術開発に加えて時空間を超えることを目指し、経済化については、再現コストの低減だけでなく、現場・中継・再現すべての処理プロセスでの技術開発を進める。なお、同研究開発成果は、2月22日〜23日に開催される「NTT R&Dフォーラム2018」にて見ることができるほか、同フォーラム内「Kirari!ホール」において、演出家とのコラボレーションにより、空間の壁を超えるスポーツ体験、および、時空間を超えるエンターテイメント体験として同技術を体感することができるということだ。