次世代映像技術「バーチャルプロダクション」とは?

映画やドラマで使用される背景合成技術として代表的なものはグリーンバックを用いて合成を行う「クロマキー合成」だ。映画のメイキング映像で、グリーンバックを背景に演技する俳優を見たことがある方も多いのではないだろうか。

このクロマキー合成に代わる映像制作技術として、近年注目を集めているのが3DCGを瞬時に作成し、実際に撮影している映像とリアルタイムで組み合わせることができる「バーチャルプロダクション技術」だ。

動画配信サービス「Disney+」で2019年11月から配信されているスター・ウォーズシリーズのドラマ作品「マンダロリアン」では、撮影の一部をセットやロケ、クロマキー合成ではなく、バーチャルプロダクション技術を用いたということで話題を呼んだ。

日本でもこの最先端の映像技術を活用しようと、映像コンテンツの制作を手掛けるソニーPCLとリアルタイムCG制作などを手掛けるスタジオブロス、モデリングブロスが手を組み、東京都品川区に「VIRTUAL PRODUCTION LAB」(以下、ラボ)を開設した。

2020年11月にソニーグループ全社員に向けて同社会長 兼 社長 CEOの吉田憲一郎氏が、米国にあるソニー・ピクチャーズ エンタテインメント(SPE)のスタジオのひとつ「サルバーグビル」を背景に全社員に語り掛けた映像も実は米国ではなく、日本のラボ内で撮影されたものである。

  • 吉田社長のメッセージ

    全社員向けに配信された吉田社長のメッセージ

  • ディスプレイの前に立つ吉田社長

    ラボにてディスプレイに映し出されるタルバーグビルの前に立ちスピーチを行う吉田社長 (画像提供:ソニーPCL)

リアルタイムエンジンが可能にした次世代の映像表現

ラボで開発を行っているバーチャルプロダクション技術は、LEDディスプレイに背景映像を映し出し、その前で撮影を行うというものだ。ラボでは背景映像を映し出すディスプレイシステム、撮影に必要なカメラ、カメラの位置情報をとらえるためのセンサ、背景とカメラの動きを同期させ、リアルタイムで合成させるリアルタイムエンジン「Unreal Engine4」などを組み合わせて映像の制作が行われている。

  • 天井に貼っているセンサ (画像提供:ソニーPCL)

    天井に貼ってあるセンサでカメラの動きをとらえる

赤外線センサでカメラの位置を把握することで、カメラの位置や焦点距離と連動する形で背景アセット(3DCG)をUnreal Engine4で処理、撮影画角に応じた背景映像が切り取られる。撮影された映像はリアルタイムでラボ内のディスプレイで確認することができる。

従来のグリーンバックを用いたクロマキー合成にはない、バーチャルプロダクションによる映像技術のメリットのひとつは、透過表現が瞬時にできることだという。

クロマキー合成では、透過表現や映り込みは撮影後に合成処理を行う必要がある。例えば、グラスに注がれた炭酸飲料を撮影するようなカットの合成は、クロマキー合成の場合 約1ヵ月程度の制作期間が必要であるが、バーチャルプロダクション技術では撮影時に映りこみを再現できるため、その場で画をつくることができるため、制作時間を短縮することが可能だ。

  • ラボで撮影された映像

    グラスに背景映像が自然に映りこむため、合成の必要がないのが特徴だ。(画像提供:ソニーPCL)

ソニーPCLはこの撮影システムだけでなく、背景アセットの作成にも注力していく予定だ。SPEに所属するSony Innovation Studio(SIS)が開発を進めているソフトウェア「AtomView」を用い、撮影した背景の点群データを3DCGに変換し、背景アセットの作成を行うとしている。

さまざまな産業に活用可能なリアルタイムエンジン

ラボではバーチャルプロダクションだけではなく、リアルタイムエンジンと3DCGの活用事例のひとつとして、自動車のCADデータを用いたカーコンフィグレーターも見ることができる。

  • カーコンフィグレーター
  • カーコンフィグレーター
  • 実際の製造工程で使われるCADデータを、ダッソーシステムズの3DEXCITE DELTAGENで変換して使用。車体の色を手元のタブレットで選択するとディスプレイに映し出される車体のボディの色が変更される。ボディへの風景の映り込みなど市街で乗る際のシミュレーションができる

リアルタイムエンジンの活用は映像表現だけでなく、プロダクトデザインでの活用や産業シミュレーションなど、さまざまな業界での活用が見込まれている。

ソニーPCLは、まず撮影の分野において、バーチャルプロダクションを活用したコンテンツの制作からコンサルティング、スタジオ設計、その運営受託など、総合的にサービスを提供し、日本国内におけるバーチャルプロダクションの浸透を図る方針だ。

しかし、現状国内でのバーチャルプロダクションの浸透に際しては、大型LEDを常設したスタジオが少ないことや利用できる背景アセットが少ないという課題がある。その課題解決のために同社は、背景アセットのバリューチェーン化なども今後の構想に含めているという。

  • ソニーPCLが構想する背景アセットバリューチェーン

    ソニーPCLが構想する背景アセットバリューチェーン (画像提供:ソニーPCL)

なお、ラボはあくまでも実験や開発を行う場所という位置づけであることから同社では、ラボで培った技術を基に日本でのバーチャルプロダクションスタジオの拡大に貢献していきたいとしている。

全社員向けに配信された吉田社長のメッセージ の動画