カシオ計算機では、ピアノで弾いた楽曲をリアルタイム解析して抽象画のアートを描いていく「Music Tapestry」（ミュージック・タペストリー）の開発を進めています。東京都内で3月11日～13日に開催されたアート展「tagboat art fair 2022」に、最新版のMusic Tapestryが出展されました。

  • カシオ計算機がMusic Tapestryを出展。多くの来場者がピアノ×アートを楽しんでいました

Music Tapestryって？

Music Tapestryは、カシオが得意とする音楽データの解析技術を応用したもの。電子ピアノの演奏がMIDI音源としてパソコンに取り込まれ、Music Tapestryがアートを自動生成、できたアートをディスプレイやプロジェクターで出力するというフローです。完成したアートは印刷も可能。tagboat art fair 2022に出展した最新版では、同時に3枚の絵を壁に映し出せる仕様となっていました。

現在のところ、Music Tapestryが対応するのはMIDI仕様の電子ピアノだけですが、将来的には電子ギターや電子管楽器のサポートも検討しているそうです。tagboat art fair 2022の会場で、今回のデジタルアートを監修した映像作家の藤川佑介さんに話を聞きました。

  • 映像作家の藤川佑介さん（撮影時のみマスクを外してもらいました）。「iMovie入門 短時間でできるサクサク動画編集」（マイナビ出版）など著作多数

「左側の絵はAbstract（アブストラクト、抽象画）です。弾いた音階、打鍵の強さによって、鍵盤と結びつけられている図形の形、色、大きさが変化していきます」と藤川さん。なるほど演奏の調子によって、投映された抽象画もリアルタイムに変化していくのが分かります。今回のAbstractは、20世紀の抽象画家、ワシリー・カンディンスキーをモチーフにしているそうです。

  • Abstractの画面イメージ。基本的に、メジャー（長調）の明るい曲調なら華やかなアートに、マイナー（短調）の曲は落ち着いた色調のアートがリアルタイムに描かれます

真ん中の絵はFlower。花や植物を連想させる図形、葉脈を思わせる繊細な線画が次々に画面に広がっていきます。ちなみに、女性の来場者からイチバン人気だったのがFlower。

そして右側にはGraffiti（グラフィティ、落書き）が映し出されます。コンクリート模様の背景にペイントで上書きされていく様子は、まるでスプレーアートを見ているよう。鍵盤で弾いたドレミの音階が、ドイツ音名（C、D、E……）に置き換わって表示されていきました。

  • Graffitiのサンプルアート

  • こちらはアートの完成イメージ。印刷して額縁で飾れば、そのまま作品として鑑賞できそう

ここでMusic Tapestryのデモ風景をご紹介しましょう。tagboat art fair 2022では、ブースに来場した人が思い思いの曲を演奏してMusic Tapestryを体験していました。

【動画】アート展「tagboat art fair 2022」のカシオブースからデモ演奏です（音声が流れます。ご注意ください）

カシオの担当者にも話を聞きました。すでに国営昭和記念公園（東京都立川市）などの公共施設にも、絵の出るストリートピアノとして設置しているというMusic Tapestry。花の旬に合わせ、例えばコスモスの季節ならコスモスの絵柄が出るようなチューニングにして、一般の来場者にも好評とのこと。

演奏の上手い下手は関係なく、たとえ短い旋律でも、それが曲になっていなくても、キレイな絵が出てくるのがMusic Tapestryのポイント。tagboat art fair 2022の会場では、小さいお子さんも鍵盤で奏でた即席アートを楽しんでいました。

  • どんな絵が出てくる？ 恐る恐る鍵盤を弾いてみると……

  • 数小節で弾くのを止めても、かわいらしいアートが生成されます

来場者からは「どういう仕組みになっているんですか」という質問が多く寄せられ、なかには「絵を持って帰りたい」と言って写真を撮って帰る人など、さまざまな反応があったそう。なお、tagboat art fair 2022の初日にはロックバンド「THE BOOM」のギタリスト 小林孝至さんが来場して『中央線』をピアノで披露。

  • tagboat art fair 2022のカシオブースにて、THE BOOMのギタリスト、小林孝至さんが『中央線』を演奏

  • THE BOOMの小林さんが『中央線』を演奏して完成したアート

【動画】THE BOOMのギタリスト、小林孝至さんが『中央線』を弾いたデモ演奏です（音声が流れます。ご注意ください）

【動画】演奏を終えた小林孝至のコメント（音声が流れます。ご注意ください）

「開発の段階で、演奏の成り立ちと絵の美しさがリンクするように調整しました。絵を見ただけで、演奏した楽曲の調性（何調か）も、どう転調したかも分かるようになっています。基本的には、演奏時間が長ければたくさんの絵柄が出るため、絵も華やかになりますね。同じ曲を弾くと同じようなテイストの図柄にはなりますが、タッチの違いが絵に出るため、まったく同じにはならないのが面白いところです」（カシオ担当者）

  • マイナビニュース・デジタルの林編集長もMusic Tapestryを体験（林：ピアノは弾けません……）

そのうえで、今回は絵をアートとして成立させるべく、藤川さんがモチーフの組み合わせなどを詰めていきました。弾いては確認、また調整、の繰り返しだったようです。

「サンプルとしてクラシック、ジャズの楽曲を100曲くらい聞いて、どの鍵盤とどの図柄を組み合わせると仕上がりが良くなるか、関連付けを考えていきました。これが大変な作業でした」（苦笑いする藤川さん）

そこで気になるのが今後の展開。藤川さんは「まだカシオさんにお見せしていないFlowerのパターンがいくつもあるんです」として、さらなるバージョンアップに意欲を見せます。またカシオには、ピアノ以外の楽器にも対応して欲しいという要望が多く寄せられているんだとか。担当者は「80年～90年代にはデジタルギター（DG-10）やデジタルホーン（DH-100）を販売していた弊社です。ピアノ以外でもMIDIに変換できる楽器なら対応できます。今後、前向きに検討していけたら」と話していました。