Epic Gamesが「Live Link Face for Unreal Engine」というiOSアプリの提供を開始した。iPhoneのフロントカメラでキャプチャした人の顔の動きで、Unreal Engine上のキャラクターの表情をリアルタイムにコントロールできる。

  • Live Link Face for Unreal Engine

    iPhoneからUnreal Engine上のキャラクターに高品質のフェイシャルアニメーションをリアルタイムでストリーミング

Live Link Faceは、TrueDepthカメラとARKitを用いてアクターの顔をトラックし、そのデータをLive Linkを介してUnreal Engineに送信する。Live Linkは、アニメーション・データを外部ソースから Unreal Engineにストリーミングして使用するためのインターフェイスだ。

ポータブルで手軽に利用できるiPhoneを使ったLive Link Faceは、ホームスタジオで活動する個人から複数のアクターがモーションキャプチャスーツを着用して演じるキャプチャステージまで、多様な制作状況、表現のニーズに応えられる。「あらゆる制作の状況において表現力と感情に溢れたフェイシャルパフォーマンスを実現できる」としている。

  • キャプチャステージでLive Link Faceを活用

    キャプチャステージにおけるプロフェッショナルのニーズに応える機能を装備

  • デスクでLive Link Faceを活用

    iPhoneを使ったリアルタイムフェイシャルキャプチャはステージ以外の場所でも活躍

タイムコード機能が、iPhoneのシステム時計、NTPサーバー、Tentacle Sync (Bluetoothを通じてステージのマスタークロックに接続)などを柔軟にサポート。精密なフレームとの組み合わせで、ボディモーションキャプチャやカメラといったステージの他のデバイスとのシームレスな同期を実現する。OSC (Open Sound Control)プロトコルをサポートし、外部アプリケーションからアプリをリモート制御できる。アプリ操作の負担をなくしてアクターを演技に集中させたり、複数のiPhone (複数のアクター)の記録を同時に開始するといったことが可能。バーチャルプロダクションにおいて、マルチユーザーエディタセッションに参加している全てのマシンに対してLink Linkデータをネットワークでマルチキャストして遅延を最小化する。

キャプチャステージ以外でも、例えばストリーマーもLive Link Faceを活用できる。Live Link Faceには頭や首の回転のデータをフェイシャルトラッキングデータに含める設定が用意されており、デスクの前からのストリーミングなら、iPhoneだけでも自由度の高いデジタルアバターを実現できる。