MRは次世代デジタルのプラットフォーム技術へ、マイクロソフトの「HoloLens」事例で見た可能性

日本マイクロソフトのMR（Mixed Reality）ヘッドセット「Microsoft HoloLens 2」を活用したエンターテイメント領域における新たな事例が相次いでいる。

ひとつは、2022年9月23日～25日の3日間、鳥取県境港市の水木しげる記念館で行われたインタラクティブ体験展示ガイド「妖怪めがねの異界案内 (ガイド)」の実証実験である。HoloLens 2を「妖怪めがね」として採用し、来館者はHoloLens 2を装着し、新たな展示観賞体験ができた。

• 水木しげる記念館での「妖怪めがねの異界案内 (ガイド)」の実証実験の様子

もうひとつは、大阪松竹座で行われた10月歌舞伎公演において、10月18日～24日の1週間に限定して、実際の歌舞伎舞台に重ねて登場人物の紹介や歌舞伎の見どころなどを字幕で表示。字幕は英語に翻訳した表示もできるため、外国人の来場者も歌舞伎をより楽しむことができるというわけだ。

• 大阪松竹座の客席でHoloLens 2を装着

それぞれの取り組みを見てみる。

Microsoft HoloLens 2は、Mixed Reality（複合現実）を体験できるデバイスで、実際の物理世界を見ながら、そこにデジタル世界の情報を重ね合わせて表示できるのが特徴だ。

応用分野は様々で、医療や建設、不動産、製造といった領域において、遠隔支援や作業支援、トレーニングといった用途で利用されている。

2022年7月には、北海道電力が、石炭火力発電を行う苫東厚真発電所において、HoloLens 2を活用した巡視点検アプリケーションの運用を開始したと発表。表示される3DCGによる点検ルートの指示に沿って移動し、それぞれの位置に対応した作業指示や参考資料を自動的に表示して、巡視点検をサポートする。

日本マイクロソフトはMRを使った具体的な用途として、離れた場所からの共同作業を可能にする「遠隔支援＆コミュニケーション」、シーンや段階ごとに指示を出してスキルをより早く習得できる「作業支援＆トレーニング」、部屋のレイアウトやプロダクトデザインを視覚化したり、共有したりできる「視覚化＆共同作業」、作業環境からリアルタイムに洞察を得て、作業効率や運用効率を向上させる「コンテキストデータアクセス」などをあげており、こうした点からもわかるように、ビジネス用途や教育用途での利用が先行していた。

• 日本マイクロソフトの「HoloLens 2」

もちろん、エンターテイメント分野での事例がなかったわけではない。

2018年には、京都の建仁寺において、HoloLensを活用して、国宝の「風神雷神図屏風」の鑑賞体験ができるといった取り組みが行われたほか、2021年12月には、北九州市でHoloLens 2を通じて実物大の恐竜が公園に出現する「デジタル恐竜パーク」を支援。2022年3月にはトヨタ技術会による世界初のARカート「Funve」を開発した事例などがある。

今回の2つのエンターテイメント領域での新たな事例は、こうした動きをさらに加速させ、HoloLens 2の活用の広がりを示したものになったともいえる。

水木しげる記念館で行われたインタラクティブ体験展示ガイド「妖怪めがねの異界案内 (ガイド)」の実証実験では、来館者がHoloLens 2を装着して館内を歩くと、展示スペースに配置されたデジタルオブジェクトを認識し、視覚情報や音声情報により、展示物の内容をより詳しく知ることができるという仕組みだ。

• 鳥取県境港市の水木しげる記念館

位置や見ている方向を認識して、情報を提示することができ、展示に近づくと自分にだけ聞こえるボリュームで音声ガイドが自動再生される「空間音声ガイド」、妖怪洞窟での妖怪に関するより詳しい情報を表示する「拡張情報ポップアップ」、妖怪広場での空間コンテンツの記念撮影ができる「異空間共有体験」を用意した。

• 妖怪に関する情報が表示される (c)水木プロダクション

漫画「ゲゲゲの鬼太郎」などの作者として知られ、妖怪にも深い造詣を持つ水木しげる氏は、「妖怪は目に見えない。けれども、いるのだ」、「人間は、目に見えないものに本能的にふれてみたいものらしい」と語っており、今回のHoloLens 2の活用は、それを具現化する取り組みとも位置づけている。

「MR技術による2.5次元観光体験アプリにより、目に見えないものをみる異界体験を提案できた」（境港市産業部観光振興課主査の古徳健雄氏）とする。

水木しげる記念館が所蔵するコンテンツと展示空間の魅力を最大化し、体験を拡張するための実験的な取り組みと位置づけており、HoloLens 2によって、水木しげる氏が見ていた世界を実際に追体験することを目指したという。

クリエイティブディレクションを行ったSabakichi氏は、「日常生活では感じることが難しい妖怪たちが住む異界を見ることをコンセプトとし、いままでにない展示観賞体験を実現した」と自信をみせる。

開発を担当したのは、XRに関するソフトウェア開発やコンテンツ制作を行うカディンチェだ。同社の青木崇行社長は、「特殊なデバイスを装着すれば、見えないものが見えるという点で、妖怪との親和性があると考えた。空間に登場した3Dモデルの妖怪はぐるっと回り込んで全体像を見ることもできる。水木しげるワールドをめぐり、体感していくインタラクティブ体験型展示ガイドになる」と語る。

今回の実証実験を通じて、屋内における美術館や博物館のデジタル面での強化を進めていく考えだ。

• カディンチェの青木崇行社長

一方、大阪松竹座で行われたHoloLens 2による実証実験は、体験者は、歌舞伎の舞台を見ながら、それに重ねて表示される登場人物の紹介や、歌舞伎の見どころなどの字幕、追加される映像表現を視聴することができる。

• 大阪道頓堀の大阪松竹座

具体的には、HoloLens 2を装着すると、定式幕の前に公演タイトルが立体的に表示されたり、幕間の残り時間を立体的に表示。演目が始まると、場面に合わせて、歌舞伎用語やシーン説明などのテロップが立体的に表示されるほか、義太夫節の語りを、文字アニメーションで表示したりする。序幕は通常の鑑賞とし、第2幕以降はHoloLens 2を着用して鑑賞できる仕組みとしたことから、その違いも体感できるようにしていた。

なお、この取り組みは、次世代型エンターテインメントとして、文化庁の令和4年度日本博イノベーション型プロジェクト補助対象事業にも採択されている。

MR字幕の制作は、イヤホンによる音声ガイドや字幕ガイドで実績を持つイヤホンガイドだ。空間上の様々な場所に解説を表示し、よりエンターテイメント性が高い解説表示や、満足度の高いコンテンツの提供を目指したという。

字幕は英語翻訳も行うことが可能で、これまで歌舞伎に親しみが無かった外国人や、歌舞伎を見たことがなかった人など、幅広い観客に楽しんでもらえる環境を提供することを目指したという。また、聴覚に障碍がある観客にも文字情報を提供できるため、バリアフリーなサービスの実現につながるという。

• HoloLens 2にタイトルを表示する (c)松竹

• 幕間時間を客席上に立体的に表示 (c)松竹

• 場面に合わせ、歌舞伎用語やシーン説明などのテロップが立体的に表示される (c)松竹

• 義太夫の語りを、文字アニメーションで表示 (c)松竹

モニター参加者からは、「意味がわからないところもスムーズに理解することができ、世界観に没入することができた」、「ヘッドセット上にすべての情報が出てくるので、集中が切れることなく、演目を楽しむことができた」、「耳からの情報だと聞き漏らしてしまうことがあったが、視覚情報では漏れなく情報を取得することができ、コンテンツを余すことなく楽しむことができた」といった声があがっていた。

日本マイクロソフト Mixed Reality Marketing プロダクトマネージャーの上田欣典氏は、「MRは、次世代のコンピューティングプラットフォームになるテクノロジーである。現実世界に対して、デジタルの情報を表示することで新たな価値を与えることができる」と前置きし、「PCやスマホは2次元の小さな画面のなかでしかデジタルの恩恵を受けられないが、MRはデジタル情報を現実社会に拡張できるため、現実社会全体がスクリーンになる。現実成果のなかにあたかも、そこに存在するかのようにデジタル情報を3Dで表示し、HoloLens 2であれば、デバイスを単体で動作させ、クラウドを接続して無限のコンピューティングリソースを活用した体験も可能になる。今後は、観光やエンターテイメント、伝統文化、芸術の表現手法のひとつとして活用されることも期待されている。その場所に行ってなにかを楽しんだり、体験したりといった使い方とも相性がいい。だが、実際に体験しないとわかりにくいという課題もある。多くの人に体験してもらいたい」と語る。

• 日本マイクロソフト Mixed Reality Marketing プロダクトマネージャーの上田欣典氏

今後のHoloLens 2の普及に向けては、体験できる場を増やすことも重要な要素になりそうだ。

ちなみに、水木しげる記念館のテーマは「妖怪」。そして、大阪松竹座の10月公演は日本怪談（Jホラー）歌舞伎として、貞子と皿屋敷を組み合わせた「時超輪廻古井処（ときをこえりんねのふるいど）」であった。HoloLens 2は、妖怪や幽霊とも相性がいいようだ。