ソフトバンクは、2021年10月に開催された「2021世界体操・新体操選手権北九州大会」において、AI自動追尾カメラの映像を超低遅延で配信するなど、新技術による映像生成、配信を実施したと発表。テレビ朝日に技術協力する形で、実際のテレビ放送で活用された。
今回の配信で使われたのは、「AI自動追尾カメラでの撮影と超低遅延配信」「自由視点映像」「誰でも体操選手3Dアバター」という3つの技術。
1つ目の「AI自動追尾カメラでの撮影と超低遅延配信」は「第38回世界新体操競技選手権」で活用された。
会場では、設置された3台のAIカメラが演技をする新体操の選手たちを自動追尾で撮影。機械学習によってカメラが新体操の演技を認識し、選手のフォーメーションによってズームインやズームアウト行うなど、選手が小さくなりすぎたり、見切れたりしないよう撮影することに成功したという。
-
新技術が使われた2つの大会
-
使われた3つの技術
-
AIによって被写体を自動で追尾する小型のカメラ
-
会場には3台のカメラを配備
また、配信について、通常は、映像をエンコードしたあと、配信システムがCDN（コンテンツデリバリネットワーク）に転送して、インターネットを経由し、無線区間を経てからユーザーの手元のタブレットなどで再生する流れになる。その結果、一般的なインターネットを経由する映像配信だと、数十秒程度の遅延が発生してしまうため、会場内で映像を見ようとしても目の前の演技が数十秒遅れてタブレットに表示されるわけだ。
しかし、ソフトバンクが今回活用した新技術では、エンコードと配信システム、無線区間の伝送を低遅延化。会場内の観客が新体操の演技を手元で大きく見るという使い方を想定し、CDNやインターネットを使わず、無線区間も無線LANを使って提供したことで、0.1～0.3秒というごく短い遅延での伝送を実現した。
低遅延を実現できたことで、会場の後方席にいても、ほぼリアルタイムの演技を手元のタブレットで大きく視聴できるようになる。また、3台のカメラを切り替えることで、複数の視点で演技を観戦できたという。
-
通常の映像配信に比べて大幅な低遅延化を可能にする新技術を採用した
-
カメラが撮影した映像。リアルタイムで選手を認識していた
-
選手を認識し、フォーメーションが変化しても自動で追尾
実際に会場で競技を観戦している様子。リアルタイムに近いレベルで、映像伝送の低遅延化を実現していた
2つ目の「自由視点映像」は、「第50回世界体操競技選手権」の鉄棒競技で実施されたもので、鉄棒の周囲をL字型に20台のカメラが囲んで撮影。この20台のカメラで撮影する映像のすべてのフレームを同期して撮影するようコントロールし、その映像を合成することで3Dの自由視点映像を撮影した。映像は、会場内での配信のほか、テレビ番組内の競技解説で活用されたという。
AI自動追尾カメラも同様だが、カメラが小型のためシステムとしてシンプルに構成できるのが特徴。撮影された自由視点映像は、撮影の範囲内で自由に視点変更、拡大縮小、1/60秒のコマ送りが可能になっているそうだ。
-
鉄棒の周囲を20台のカメラが並んで撮影
-
視聴する際、自由に視点を変えたりコマ送りをしたりといった操作が可能
3つ目は、会場内ではなく関連サービスとして開発した「誰でも体操選手3Dアバター」。スマートフォン1台で自分の3Dアバターが作成でき、自由に視点を変えて動かせるほか、1タッチで指定の動きをアバターに実行させることもできる。指定動作には体操のつり革競技も含まれていて、自分のアバターが高度なつり革の演技をしてくれる。
-
スマートフォンだけで簡単にアバターが作成できる「誰でも体操選手3Dアバター」
アバターの作成は、まずスマートフォンの自撮りで顔の撮影。上下左右を向いて撮影をしたあと、全身の撮影では10秒間で体を一回転させるだけ。撮影データがサーバーに送信されてアバターが作成される。スマートフォン1台だけで、簡単に3Dアバターを作成できるのがメリットだ。
-
上下左右を向いて顔を3D化する
-
全身は自力で回転
-
作成されたアバター。登録された様々な動作を行ってくれる
-
アバターによるつり革のフィニッシュ。AR表示にも対応している
-
実際のアプリのキャプチャ画像。下部にある動作を選べば、アバターがその動きをしてくれる
-
自分では絶対にできないバク宙も
ソフトバンクはこれまでもマルチカメラによる複数視点の映像配信や5Gで8K映像の配信など、さまざまな映像配信技術を研究しており、今回は独自プロトコルを使うなど新たな研究の成果を示した。超低遅延配信は、実は映像よりも音声に向いているそうだが、実際に映像配信で運用し、今後どのように活用するか、さらに検討していきたい考えだ。
