デジタルコンテンツ技術をテーマとした国際イベント「デジタルコンテンツ EXPO 2016」が日本科学未来館で開催中だ。10月27日～30日まで行われており、日本科学未来館の入館料は不要で、入場無料で参加できる。

会場となっている日本科学未来館

今年はVR元年と呼ばれるようにVRに注目が集まっていたが、それ以外にも気になる技術が多く展示されていた。すでにテスト利用が始まっている等「明日にでも使えそうな技術」で気になるものをまとめてみた。

16x16の256分割画面でも字幕が読める。そう、8Kディスプレイならね。

NHKとMIT Media Labが展示していたのは「8K Time into Space」。テレビがデジタル化しだした頃に「全チャネルを一画面に表示してチャンネル選び」という機能があったが、8K表示がPCで可能になったという事で展示されたのがこれだ。

8Kディスプレイの情報量を生かし多くの動画を並べても情報の欠落が少ない事を生かした8K Time into Space。8K+タッチパネルで直観的操作が可能

一時間番組を16x16に分割して表示させたところ。この辺でこういうカットになっているという事がわかりやすい

デモは1時間の番組を256分割し、それぞれのコマがすべて動いているので気になるシーンを見つけやすい、というもの。8kの解像度があるので256分割されていても、一コマは480x270とそれなりの解像度があり、内容を把握できるという。

パソコンを使って8k表示を実現するために、4k出力を4本束ねて転送している。このためにはデジタルサイネージ系で使われている同期機能が必須となり、NVIDIAだとGeForceではダメでQuadroが必要となる。8kディスプレイの加えてPC用の汎用GPUが使えないという価格が現在の難点だろう。

ちなみに2kディスプレイでもできるということで、こちらはドライブレコーダーの画像を例に展示していた。

8x8分割に切り替えたところ。これでも一枚の動画はVGAサイズぐらいある

システムトレイを見ると8kの解像度が実感できる

複数のカメラでボールを追い、軌跡や速度を計算

NHK(日本放送協会)は複数のカメラから色のついた球体の軌跡と速度を算出する「3次元リアルタイム物体追跡」のデモを行っていた。複数のカメラで撮影し軌跡や速度を自動的に算出するというもので、デモは3台のカメラと3つのボールを追い、ボール番号と軌跡をリアルタイム表示していた。

また、オフラインでの例として、バレーボールのボール速度やジャンプの高さを表示しているビデオを見せていた。スポーツ中継でのプレイバック映像での利用や、スポーツ選手の育成用としての応用が検討されているという。

今年特に注目されている技術を取り上げた「Features 2016」で、一番大きなスペースを使っていたのがこの3次元リアルタイム動画追跡。こちらは実画像

これをシステムに通すと、二つのボールに数字が付いて分類され、さらにボールの軌跡が表示される(2番のボールはフレーム外にある)

今回のデモでは3台のカメラを使っており、複数のカメラで補足する必要がある。コンソールにはボールの速度や高さも表示されているのがわかる

オフライン処理のデモ例。バレーボールのデモではボールの軌跡や速度、高さが表示されている他、16台のカメラを使っておりバレットタイム的な表示も行っていた

2台のカメラで球を追い、軌跡や速度を表示。球に限らず人も追跡可能

コンセプトとデータスタジアムは「Qoncept 4D Tracker」を卓球台を用意してデモを行っていた。こちらもカメラから球の速度を算出するもので、この卓球の場合はどのような軌跡で球が飛んだか、どこに落ちたかという表示やプレイ後のラリーマップ、着地のヒートマップ表示が可能となっていた。

普通にピンポンをしているだけのように見えるが、右の男性のさらに上にビデオカメラが二台盤面を記録・解析している

プロジェクターによって、リアルタイムにボールの軌跡と着地点(黒い四角)が表示されるのがわかる

卓球台や球には一切の手を加える事なく、カメラさえあれば対応できるというのがミソだろう。すでにバレーボールでは中継に実用化されており、速度を表示しているという。野球のように軌跡がほぼ一定の場合はスピードガンが使用できるが、バレーのような位置が特定できない競技でも利用できるのは面白い。

カメラからの映像を解析しているシステムのモニター画面。カメラ映像(左上)を解析することで、ボールの軌跡を記録できる(右上)

また、参考としてオフライン解析のビデオ例を見せてもらったが、トラック競技での選手の動きをトラッキングして位置と速度を表示していた。パン/チルト/ズームを行っている画像でも対処できるそうだ。