世界中のゴルフファンを沸かせる世界最古のゴルフトーナメントである全英オープン選手権は、北アイルランド(Northern Ireland)のロイヤルポートラッシュで7月18日から21日かけて開催。アイルランドのシェーン・ローリー(Shane Lowry)選手が見事に優勝している。

NTTデータは、中継しているライブ映像にAIを使って自動的にタグ付けを行い、利用するユーザーがハイライト映像や自分が好きな選手、ポーズ、スイングなどのモーションを指定してその場で自由に視聴できる新しい試みを行った。同社は、このテクノロジーを活用した「Vison Data +」を開発、映像制作者や放送関係者向けに映像検索・分類を効果的に行うソリューションとして東京ビッグサイトで開催された「放送・通信 Week 2019」の「4K・8K映像技術展」(7月17日から19日まで)で参考出展をおこなった。

  • 全英オープン日本公式<a href="https://www.theopen.jp/" target="_blank">Webサイト</a>

    「放送・通信 Week 2019」の「4K・8K映像技術展」　NTTデータブース

映像からAIを活用してタグを自動生成する技術"VideoAI"を活用して、映像に人物、キーワード、地名、など様々なタグを自動的に付与し、映像の検索、閲覧性を高めるのがVideoAIプラットフォーム「Vision Data +」だ。自動でタグ付けを行うAIエンジンには、それぞれの分野で最新、最適なAIサービスをユースケースに合わせて選択して使用、加えて同社の独自のノウハウに基づいた認識性を高める変換技術、データをより使い安く整形する加工技術が組み合わせてある。映像データの分類、整理、インデックス化をワンストップで行うことができるオールインワンサービスになっている。

  • 全英オープンで活用された映像解析技術による動画編集の流れ(NTTデータ<a href="https://www.nttdata.com/jp/ja/news/release/2019/071701/" target="_blank">ニュースリリース</a>より

    全英オープンで活用された映像解析技術による動画編集の流れ(NTTデータニュースリリースより)

今回、展示会で「Vision Data +」のデモを体験することができた。同製品は、まだ開発段階で4K・8K映像技術展に合わて映像業界向けに最適化されたもので、今回は参考出展扱いの初公開となる。デモでは、変換された動画を直接確認することができたがタグは、登場人物から、日付、地名、関連キーワードなどかなり細かくリストアップされている。

  • 「Vision Data +」のインターフェイス。上部に検索窓。下には登録された動画の一覧が表示されている。動画や人物はサムネイルで表示

    「Vision Data +」のインターフェイス。上部に検索窓。下には登録された動画の一覧が表示されている。動画や人物はサムネイルで表示

  • 自動的に付与されたタグの一覧。AIが動画の内容や音声から自動的にタグを抽出してくれる。また、底部に放送された動画に登場した人物もAIが識別し表示する

    自動的に付与されたタグの一覧。AIが動画の内容や音声から自動的にタグを抽出してくれる。また、底部に放送された動画に登場した人物もAIが識別し表示する

映像をクリックすれば、さらに詳細な情報を閲覧できる。インターフェイスの左上部には動画、その下には登場人物のサムネイル、右側には動画内の音声をテキストにしたデータ、真ん中にはタグ、そして下部には動画のタイムラインが配置。タグを選択することでタイムライン上に関連づけられた内容、放送された時間帯がカラーマーカーで表示される。マーキングされた部分をクリックすることで動画部分を視聴することができる。

  • 動画内の音声データも画面上に出力、タグに関連付けされた動画の時間帯をタイムラインで一覧表示できる。タイムライン上に表示されたタグマークをクリックすることで映像を視聴できる

    動画内の音声データも画面上に出力、タグに関連付けされた動画の時間帯をタイムラインで一覧表示できる。タイムライン上に表示されたタグマークをクリックすることで映像を視聴できる

  • AIが識別できない人物を一覧表示し追加で登録、機械学習させることも可能だ

    AIが識別できない人物を一覧表示し追加で登録、機械学習させることも可能だ。

同製品では、よりシステムを使い安くするため"前処理"と"後処理"という機能を搭載している。「前処理」機能は、AIの精度を上げるため映像を細かく分類したり、変換時間の短縮のため必要な部分だけを処理を行うように設定を行える機能になる。

「後処理」は、変換されたデータを利用しやすいように再加工する機能だ。具体的には、映画のエンドロールのデータを文字列で収集したい場合、その記載方法によっては、役割と名前が必ずしもわかりやすい形で出力されているわけではない。このような場合でもAIを活用して、わかりやすく整形して表示することができる。自動化されたデータ収集が機械学習により、どんどん精度が高まっていくわけだ。

  • 「後処理」の機能がよくわかるデモ。加工前の乱雑なデータと加工後の整理されたデータ

    「後処理」の機能がよくわかるデモ。加工前の乱雑なデータと加工後の整理されたデータ

NTTデータでは、将来の変化を予見した技術トレンド情報をまとめた「NTT DATA Technology Foresight」を毎年発表しており、"映像が情報伝達の中心的役割を担うようになり、今後映像関連ビジネスは、伝達する対象の「個」を意識したものへと変革していく"との予測を行っている。実際に体験してみると放送や映像がデータ情報の宝庫であることを改めて認識できる。映像データの資産化を推進し放送関係や映像制作、保安関係など映像データを所持する企業向けに、「Vision Data +」を展開していく方針だ。