エイベックス、ネイキッド、日本マイクロソフトの3社は、「FLOWERS BY NAKED 2020 -桜-」において、「HUMANOID DJ」のプレス説明会を開催した。HUMANOID DJは、エイベックスとネイキッドの2社がMicrosoft Azureを活用して、観客の表情を分析して性別や年代、感情の起伏をはじき出し、映像や楽曲をリアルタイムに組み替えていく試み。このイベントは、東京・日本橋三井ホール COREDO室町1で2020年3月1日まで開催される。

  • リアルタイムに変化する映像と楽曲をバックに踊る、春の妖精を模した女性ダンサー

FLOWERS BY NAKED 2020・桜は、「春」をテーマにプロジェクトマッピングによる空間演出を会場全体に盛り込んだ期間限定イベント。以下のようなアトラクションが用意され、アートに興味がなくても楽しめる特殊空間だ。

  • 音感センサーに反応してタンポポの綿帽子に息を吹きかけると、CGで綿毛が空間に飛び散る「Dandelion Hill」
  • 指定位置に立ち、カメラで撮影した自分の動きと、壁に映し出されるバーチャル妖精が同じポーズを取る「Wildflower Garden」
  • 天井の壁を特殊加工して万華鏡を映し出す「Glowing Garden」

  • 妖精がネイキッドの担当者と同じポーズを取る「Dandelion Hill」

  • 人の動きは壁に設置したカメラがリアルタイムで測定

  • 「Dandelion Hill」の音感センサーを使用するアプローチはシンプルながら、風に舞い飛ぶ綿毛は圧巻だった

  • 比較的狭い空間だが、天井一杯に万華鏡が描かれる「Glowing Garden」。描画内容は次々と変化する

目玉となるのが、メイン会場の「OUSAI Garden」で30分ごとに開催する「About HUMANOID DJ」というイベント。Microsoft AzureのCognitive Servicesに含まれる、Face APIを利用している。

Face APIは、カメラなどに映し出された人物の顔を認識し、年齢、感情、性別、ポーズ、笑顔といった27個の属性を検出可能。今回は8種類の感情をベースに、トラックごとに楽器や音声が異なる音楽をリアルタイムで組み合わせ、その瞬間しか味わえない楽曲や映像が流れる。

  • メインダンサーは右手にセンサーを組み込んだブレスレットを身に付けている

  • 観客の表情から年齢や性別、男女比、感情を読み取るためのカメラ

メインダンサーは腕にセンサーを付け、ダンサーの動きによっても組み合わせは変化する仕組みだ。取得したモーションデータを数値化し、Azure IoT Hubを通じて映像&楽曲を組み合わせるシステムに渡している。また、Cognitive ServicesもクラウドAPIを呼び出すのではなく、Azure IoT Edgeのコンテナ管理機能を用いており、Microsoftが掲げる「インテリジェンスエッジ」を実現した好例といえるだろう。

  • HUMANOID DJのシステム内容。画面下部でカメラが認識した観客の表情から年齢や感情などを数値化する

2019年に開催した同種のイベントでも似た取り組みを行っていたエイベックスとネイキッドだが、今回は映像パフォーマンスが組み込まれている。エイベックスの担当者は「これまでは原始的なことしかできなかった。今回はさまざまな効果を加えており、より人間の手数に近づいた」と、今後もさらなる改良を加えていく考えだ。

阿久津良和(Cactus)