「An Interactive 360°Light Field Display」by USC Centers for Creative Technologies/Fakespace Labs/Sony他

USC Centers for Creative Technologies/Fakespace Labs/Sonyらは、360°立体視ディスプレイ「An Interactive 360°Light Field Display」(以下360LFD)を展示。

一見何の展示か分からない360LFD

一般的に立体視というと、ディスプレイ上に映し出された映像が立体に見えるものを指すが、360LFDは立体そのものを中空に映し出すことができ、360°任意の方向からその立体物が観察できるディスプレイ装置だ。

例えば戦闘機を表示すると正面から見れば正面からの様子が見え、そこから背後に回れば戦闘機の後ろ姿が観察できるのだ。

戦闘機の正面に経てば正面が見え、移動して側面から見れば戦闘機の側面が見える。背面に行けばもちろん背面も見える

これも、かなり力業なアプローチで実現されている。

表示に用いられているのは、斜め45°に傾いて備え付けられた異方性反射をする鏡(後述)。これが毎秒15回転のスピードで回転している。

異方性反射フィルタが取り付けられた鏡。これが毎秒15～20回転する

この回転する鏡には、水平方向にはほとんど反射光が拡散しないが、垂直方向には拡散反射をする特殊な異方性反射をする光学フィルタが貼り付けてあり、鏡が向いている方向にプロジェクタからの映像が当たると、その水平方向には正面にしか反射しない。

プロジェクタはこの回転する鏡の回転と同期して、その方向から見えるはずの映像を360°分投射する。つまり、鏡が正面に向いているときには正面からの映像を、鏡がちょっと左に向いた瞬間にはその方向の映像を同期して投射するのだ。鏡は毎秒15回転するので、毎秒15fpsのフレームレートで全方位の映像を投射していることになる。

ちなみに、角度の分解能は1.25°だそうで、これは異方性反射の光学フィルタの都合によるものらしい。垂直方向には異方性反射をしないので、背の高い/低いでは映像の見え具合には変化がない。

動作概念図

現在は左右の視差のみを再現し、上下の視線には対応していないが、観測者の視線の向きを検出できれば、投射側で映像を変形させることでそれも可能になるとのこと(下に掲載するムービー2参照)。その場合は、現在の、一斉に複数の観測者が任意の方角から3Dオブジェクトを観察する機能は失われることになる。

1.25°単位に360°分の映像を出すということは1回転あたり360÷1.25=約288フレームの映像を投射していることになる。これが1秒間に15fpsだから288×15=4320で、1秒間に4320fpsの映像をプロジェクタが出力していることになる。

1.25°単位で全方位から3D映像を観察できる

ここまで高速駆動できる液晶プロジェクタはなく、このシステムではDLPプロジェクタを投射系に採用している。DLPプロジェクタは階調生成も時分割生成(時間積分型生成)であり、その階調生成のための時間の大部分を4320fps出力に奪われてしまうため、単板式DLPプロジェクタではカラー表示や階調表現が難しいようだ。

このシステムのために改造されたDLPプロジェクタ。回転する鏡の動きにシンクロして360°分、毎秒4320コマで映像を表示

プロジェクタを2台活用し、ミラーをデュアル構造にしたものを採用したシステムも開発しており、こちらは階調性がだいぶ改善されているようだ。また、コストが高くて実用的ではないが、DLPプロジェクタのコアとなるDMD映像素子をRGB分三枚活用したシステムを構築すればフルカラー化も実現できるだろうとのことだった。

カラー表示/階調改善に対応するために開発されたデュアルミラー。これを使ったシステムの展示は今回はなし

とはいえ、今回のデモは、そのあたりの弱点が露呈しないように配慮していたため、投射映像は白黒に限定していた。

今回のデモでは使用したプロジェクタが1024×768ドット解像度であったため、360LFDとして表示される3D映像の解像度は768×768ドットになっているとのことであった。

このシステムでは360°記録の映像の他に、OpenGLベースのリアルタイム3Dグラフィックスも表示できるようになっている。

4320fpsのリアルタイム3Dグラフィックス表示というのはプロジェクタだけでなく、この映像を出力する側にも相当な負荷がかかる。そのためか、今回のデモシステムでは、CPUにCore 2 Duoの3GHz、GPUにNVIDIA GeForce 8800 GTX/768MBを搭載した比較的ハイエンドなPCシステムを用いていた。

静止画だけでなく15fpsでのアニメーションも可能。これは人間が歩く姿のデモ映像。後ろから見れば歩く後ろ姿が見える

さて、サブタイトルに「Interactive」とあるように、リアルタイム3Dグラフィックスであることの利点を生かし、今回のデモシステムでも実際にこの立体表示されている3Dオブジェクトを動かすことができるようになっていた。デモンストレーションでは、改造したWiiリモコンをPCに接続し、このWiiリモコンの動きに合わせて3Dオブジェクトの傾きを変えることができる様を披露。

改造したWiiリモコンで表示されている3Dオブジェクトの向きを変えたり…といったインタラクティブデモも

「このインタラクティブ性を使えば、360°表示をうまく使ったビデオゲームなども十分実現可能」(担当者)

360°表示ができるので、ユーザー自身が動き回ってプレイしたり、大勢でプレイしたりといった今までとは異なるプレイスタイルのゲームが作れそうで面白そうだ。

下にはPC。これだけ縦長に大きなシステムだが、表示エリアは13cm×13cmと小さい。表示領域の大型化も課題の1つだ

発想としては非常にユニークであり、全方位から見られるとあれば、医療、デザインプレビューといった業務用用途に有用そうだが、いかんせん、表示画面が小さいというのが弱点だ。とはいえ、ミラーを回転させるという基本原理があるので、大画面表示をするためには大型の鏡を回転させる必要があり、これはなかなか難しそうではある。

動画
ムービー1 (WMV形式 18秒 782KB)
ムービー2 (WMV形式 4分11秒 8.07MB)