Cognitive Services を活用し、その瞬間、その空間でしか体験できない音楽を創造する「 HUMANOID DJ project 」

「体験」を売る時代に、次世代のアーティストを生み出す

「 HUMANOID DJ project 」は、IP 創造企業のエイベックスとクリエイティブカンパニーのネイキッドが共同で展開するプロジェクトです。AI DJ「 LUCY （ルーシー）」が、新たな音楽体験をもたらす次世代のアーティストとして、プロデュースされているのです。

「世界で活躍するアーティストをともに生み出そう」と、両社が共創をスタートさせたのは 2016 年のことでした。AI の DJ にする想定は、当初はなかったと、エイベックス・エンタテインメント株式会社 レーベル事業本部 SPU マネージャー兼ゼネラルプロデューサー 油井 誠志 氏は当時を振り返ります。

「はじめから HUMANOID DJ にするつもりだったわけではなく、世界で活躍する日本人DJ のような存在を生み出したいと考えていました。しかし、生身では世界各地を飛び回ってのライブは大変です。いろんな場所でやりたいと話をする中で、『人間じゃないアーティストはどうか？』というアイディアが飛び出たんです。ちょうど、AI による感情認識のセミナーを聞いたばかりだったので、『これだ！』と思いました」（油井 氏）

• AI DJ「LUCY（ルーシー）」

AI によって人の感情を測定する手法を感情認識と言います。カメラが読み取る画像や映像データから、その人がいま喜んでいるのか、それとも悲しんでいるのかを推定できるのです。たとえば、写真や映像から人間の顔画像を抽出し、表情筋の微妙な動きを解析し、ビッグデータを参照することによって、感情認識が可能となります。

この新しいテクノロジーを用いることで、今までにない音楽体験を提供できるのではないか。そんな考えのもと、HUMANOID DJ project はスタートしました。その背景には、「モノからコト、体験へ」という時代の流れがあったと油井 氏は言います。

「私がいるレーベル事業は、生み出された音楽 CD などのメディアや配信にして販売するというビジネスを続けています。しかし今は、ただモノを売る時代から体験を伴ってモノを売る時代へとシフトしています。HUMANOID DJ project は、新しい音楽の可能性を探る上でも非常に適していると考えられたのです」（油井 氏）

これからのエンターテインメントは、その場所、その人、その一瞬にしかあり得ない、体験だからこそ生まれる価値が追求されていきます。観客の感情をリアルタイムに解析し、即興で演出に反映させることのできる AI は、まさに時代が求めるテクノロジーでした。

Cognitive Services によって、観客の感情をリアルタイムで認識

感情認識には様々な仕組みがありますが、HUMANOID DJ project が採用したのは、マイクロソフトが提供する Cognitive Services の「 Face 」でした。

Face は、画像に含まれている人の顔を検出し、認識し、分析するための AI サービスです。性別や年齢、感情、ヒゲやメガネの有無などを検出・数値化することが可能です。

HUMANOID DJ project に Cognitive Services を採用した理由について、エイベックス株式会社 新事業推進本部 デジタルクリエイティヴグループ ゼネラルマネージャー 山田 真一 氏は次のように説明します。

「たくさんのお客様が来場されるイベントを想定していたので、時間をかけて感情認識の精度を高めるよりも、判別できる情報のバリエーションを優先したいと思っていました。当時は 2，3 種類の感情しか分からないソリューションが多かったのですが、Face は、平常状態、怒り、軽蔑、嫌気、恐怖、幸福、悲しみ、驚きと、8 つもの感情を取り出すことが可能です。これは大きなアドバンテージでした。さらに、ポジティブな感情だけでなく、怒りや悲しみといったネガティブな思いも察知できるので、イベントの良し悪しを判断するためのデータも取得できると考え、Cognitive Services の利用を決めました」（山田 氏）

Cognitive Services を使いながら、HUMANOID DJ は少しずつ進化していきました。

HUMANOID DJ が初めてイベントに登場したのは、2019 年 1 月のことです。当時はまだ姿形を持っておらず、AI システムのみでした。カメラによって来場者の感情値、年齢、性別を推定し、次に演奏する楽曲を変化させるというシンプルな構成です。

その半年後、上海で開催されたデジタルアート展「 OCEAN BY NAKED 如海・空間」にて、会場の 94 F 展望台をジャックする一夜限りのパフォーマンスを披露し、海外デビューを果たします。さらに 2019 年 9 月には、幕張メッセで開催された音楽フェス「 DIVE XR FESTIVAL 」に出演し、HUMANOID DJ が、観客の感情と音楽・照明・映像演出を連動させることで、会場を盛り上げました。

そして、2020 年 1 月 30 日から日本橋で開催された花の体感型アート展「 FLOWERS BY NAKED 2020 ―桜―」にて、ライブパフォーマンスである「 LIVE BY HUMANOID DJ 花宴（はなのえん）」を披露しました。このイベントでは、来場者だけでなく、春の精霊に扮したダンサーの動きもセンシングし、それに合わせてエフェクトをかけ、楽曲構成を変化させています。

リアルタイムで楽曲を変化させていくために、エッジデバイスでの処理を工夫したと山田 氏は言います。

「 HUMANOID DJが感情認識するために、4K カメラを使って大量の画像を取得しているのですが、過去のイベントでは、通信環境によってラグが生じてしまうことがありました。そこで今回は、Cognitive Services をクラウドではなく、会場に設置したローカル PC で実行しています。これによりリアルタイム性を向上させる事ができました。一方、ダンサーに持たせたセンサーはデータ量が軽いので、Azure IoT Hub を使って処理しています。クラウドとローカル、両方の選択肢を組み合わせることができるようになったことで、今後の展開も幅を持たせられるようになったと考えています」（山田 氏）

• カメラから取得される来場者データ

「客観から主観へ」。新たな体験価値の提供が可能に

「 FLOWERS BY NAKED 2020 ―桜―」における HUMANOID DJ のパフォーマンスについて、ネイキッドのディレクター 川坂 翔 氏は、「一度も同じ演奏が無い」ことにこだわったと言います。

「『 FLOWERS BY NAKED 』は、毎年、『日本一早いお花見』をキャッチコピーに開催しているイベントです。桜には 600 種類以上の品種があると言われているのですが、HUMANOID DJ も会期中も 600 回以上演奏します。そこで、桜の種類と演奏の種類をシンクロできたら面白いな、と考えてコンセプトを育てました。会場を訪れた方に、その一瞬にしか存在しない、歌と、舞と、映像が融合する特別なお花見体験を提供したかったのです」（川坂 氏）

ダンサーの踊りと、観客の感情や性別、年齢をリアルタイムで分析することによって、HUMANOID DJ は演奏法や歌い手の性別を変えたり、様々なエフェクトをかけたりすることによって、その瞬間限りの、唯一無二の空間を演出したのです。

• カメラから得られる観客の感情データだけでなく、ダンサーの踊りをセンサーで読み取り、動きを感知。唯一無二の空間を演出する

また、来場者の動向によって演出が変化することの意義を、川坂 氏は次のように説明します。

「『客観から主観へ』という転換を起こすことが、体験型のイベントづくりにおいてはとても重要なことです。完成品をただ眺めるのではなく、自分自身の反応によって空間が変化すること、自分が物語に加わっていけると気付くことが、新たな体験への入り口だからです。そういった意味で、HUMANOID DJ は、今後のイベントに大きな可能性をもたらしていく存在だと考えています」（川坂 氏）

さらに、Cognitive Services による感情認識は、人間のクリエイター目線から見ても、より良いイベントを提供するために有効であると、油井 氏は言います。

「演奏する曲の順番をセットリストといいますが、これをつくる際に活用できると思っています。1 時間半のショーのうち、どこでテンションを上げようか、どこを感動ゾーンにしようか、と考えながらつくっていくのですが、本当に観客がその通り反応しているかどうかは、肌感覚でしか分かりませんでした。それが客観的なデータでとらえられるようになれば、そのデータを一つの軸にして、さらに効果的なものにできると思います」（油井 氏）

エンターテインメント領域を越え、あらゆる「場所」の価値向上へ

HUMANOID DJ のさらなる進化について、山田 氏はこう語ります。

「『 FLOWERS BY NAKED 2020 ―桜―』でパフォーマンスを披露することによって、提供した楽曲とその反応という膨大なデータを取得することができました。次はこのデータを使って機械学習することにより、HUMANOID DJ の『腕前』をさらに向上させていきます。また、人間の DJ プレイログを使った学習も、今後はやっていきたいと考えています」（山田 氏）

HUMANOID DJ が活躍できる領域は、エンターテインメントにとどまらないと、油井 氏はさらなる未来を展望します。

「 DJ というのは『その場所を盛り上げる人』です。場所というのは、必ずしもイベント会場に限りません。例えば、ショッピングがもっと楽しくなる商業ビル、クリエイティブなアイディアが次々と生まれる会議室、ワクワクして学習できる教室など、HUMANOID DJ は、あらゆる場所を演出し、価値を向上させることが可能なのです。そのために、今後もアーティストとしての信頼性、ブランドを向上させていきたいと思います」（油井 氏）

こうした、領域を越えていく HUMANOID DJ project の思想は、「 DJ ライク」であると川坂 氏は続けます。

「 DJ は誰かを排除するのではなく、みんなで楽しむことを目的にパフォーマンスします。このプロジェクトのキーワードは『 Connect 』です。様々な企業さんやアーティスト、お客さんと Connect していくことによって、未知の体験提供を追求していきたいと考えています」（川坂 氏）

新世代のアーティスト「 LUCY 」によって、「音楽配信」ではなく、「音楽体験」という新たな価値の提供が始まりました。そのパフォーマンスは、ステージを越えて、私たちの暮らしの様々な場面を鮮やかに彩っていくことでしょう。

＊所属部署、役職等については、取材当時のものです。

[PR]提供：日本マイクロソフト