日本電信電話(NTT)は、脳の映像補完の働きを活用し、バラバラに配置された複数のモニタ群の枠を超えて飛び出すように感じられる巨大3D空中像の提示システムを考案したことを発表した。同成果は、6月24日より開催される、コミュニケーション科学基礎研究所オープンハウス2024に出展される。

  • 従来の整列されたモニタ群による巨大3D映像提示法、および本提案のバラバラに配置されたモニタ群による提示法

    上は従来の整列されたモニタを組み合わせた巨大3D映像の提示法と今回提案されたバラバラに配置されたモニタ群による提示法のイメージ。下は分散配置のモニタ群による、透明視錯覚を誘導する明るさ調整の施された巨大3D映像提示の様子 (出所:NTT)

従来、広告、エンターテイメント、イベント、VR/ARなどの領域で、大きな3D映像が提供される際には、重厚なヘッドセットや暗室、大きな液晶モニタなど、専用の機材や空間が必要だったほか、汎用ディスプレイを複数個並べることで1枚の巨大ディスプレイとして大きな3D映像を提示する場合、モニタのベゼル(縁)部分が消せないため、どうしても映像を分断され、違和感を生じさせるため、同じ種類のモニタを精緻に整列させる必要などがあり、準備に手間と労力を要することが課題となっていたという。

NTTコミュニケーション科学基礎研究所(CS研)はこれまで、人が感じるさまざまな錯覚現象を通じて、人の感覚・知覚メカニズムを探る人間科学の研究に取り組んできており、その過程で、画像の明るさを適切に設計することで、物体が遮蔽物の手前に半透明に重なるように知覚される「透明視錯覚」や、画像中の描画されていないところを補完する脳の仕組みに関する知見を蓄積してきた。今回の研究は、そうしてこれまで蓄積してきた知見を活用する形で錯覚を用いることで、専用機材や空間に限定されない新しい映像表現の実現に取り組むことに挑んだという。

その結果、異なる種類のモニタがバラバラな位置に配置されている状態でも、それぞれのモニタの物理的位置を考慮して映像を提示できるシステムを考案し、巨大な立体像が飛び出て見えるような3D空中像を知覚的に提示することに成功したとする。この技術のポイントは、バラバラのモニタ群から飛び出す3D空中像を提示するために、モニタ群の物理的な位置関係のキャリブレーションを行う手法を提案したことにあるという。各液晶モニタに、2次元コードによる一意なIDを埋め込んだチェッカーパタンを提示し、カメラでモニタ群全体を撮影することで、1ショットでモニタ間の位置関係を把握、即座に各モニタの配置を把握する校正を可能にしたとする。1台のカメラでも校正可能ながら、ステレオカメラを使用することで、深度の推定精度をより向上させることができることも確認したとする。

  • 各モニタにキャリブレーション用情報を表示し、ステレオカメラでモニタ群全体を撮影する様子

    左は配置した各モニタにキャリブレーション用情報を表示し、ステレオカメラで各モニタの位置情報を把握して補正を行う様子。右はカメラによる撮影画像と各モニタの姿勢推定結果。3次元の回転・位置の情報が、各モニタの中心で、座標軸を表す赤青緑の線で示されている (出所:NTT)

校正を行った後、透明視錯覚を誘起する映像の明るさ調整を施す方法を導入することで、モニタのベゼルや乱雑な配置によるモニタ間の隙間で映像に欠損が生じる状況でも、脳がそれを補完でき、結果として飛び出す3D空中像提示を実現したという。同社では、人間の脳には、不完全な情報から全体像を推測し、欠けている部分を補完する優れた能力が備わっており、この能力を利用したと説明している。

  • カニッツァの三角形によるモーダル補完効果に基づく輪郭の知覚

    イタリアの心理学者ガエタノ・カニッツァにより発表された錯視図形(カニッツァの三角形)によるモーダル補完効果に基づく輪郭の知覚イメージ。3つの頂点の周辺だけに描かれた輪郭が手がかりとなって、実際には存在しない三角形の輪郭が浮かび上がって見える (出所:NTT)

各モニタ間をまたぐ形で浮かび上がる空中像は、モニタ間の隙間の前面にもまたがるように人間は感じることができることから、従来の光学素子やセンサ、計算部を備えた特殊なヘッドセットを装着する必要があったAR体験を、モニタ間の隙間および3D映画などで使用される汎用的な3D眼鏡だけで体験ができるようになり、新たな映像表現の創出につながることが期待されると同社では期待を示す。

なお同社は、隙間の広さや提示コンテンツの配置の仕方によって、脳内での欠損の補完のしやすさがどう変わるかなど、未だ解明できていない要素の追究が重要だとし、今後はこうした補完のメカニズムの解明に取り組むことで、より幅広い条件で3D像が知覚できる柔軟な技術へと発展させていきたいとしている。

また、液晶モニタだけでなく、プロジェクタなど、他のさまざまなディスプレイも含めて複合させて巨大3D映像を提示できる、ユビキタスな巨大3Dディスプレイの実現を目指し、不特定多数に対する没入型の映像体験の創出に取り組みたいとしている。