大日本印刷(DNP)は1月22日、聴覚に障がいがある人もアート作品を一層楽しめるように、ガイドスタッフや体験会参加者の音声などをテキストにしてスマートグラスに字幕表示するシステムを開発したことを発表した。

1月27日から、東京都庁内にあるパブリックアートを対象に、このシステムを活用してガイドスタッフの解説音声をスマートグラスに表示する鑑賞体験会を実施する予定。

  • スマートグラスを装着して鑑賞するイメージ

    スマートグラスを装着して鑑賞するイメージ

スマートグラスでの音声字幕表示の取り組みの背景

DNPは、各種情報機器やMR(Mixed Reality:複合現実)に関するノウハウを活かし、美術館・博物館などに向けて、ヘッドマウントディスプレイ(HMD)やスマートグラスを使用したガイダンスシステムや新しい鑑賞システムなどを開発・提供している。

そのような取り組みの中で今回、聴覚障がいがある人と聴者がともに楽しめるサービスの1つとして、MRや文字フォントなどの技術・ノウハウなどを掛け合わせ、スマートグラスに音声を字幕で表示するシステムを開発し、体験会でその効果や課題を検証することを発表した。

  • スマートグラスへの字幕表示イメージ

    スマートグラスへの字幕表示イメージ

スマートグラスでの音声字幕表示の特徴

同システムは、東京都の「西新宿先端サービス実装・産官学コンソーシアム」における「先端サービス実装分科会プロジェクト」として採択を受け、開発パートナーであるアイシンの協力のもとで開発されたもの。この連携により、リアルタイムで音声を認識し、スマートグラスに字幕を表示することが可能となっている。

また、スマートグラスに接続した指向性マイクを解説している人などに向けることで、聞きたい方向の音声を拾って字幕に表示することが可能となっている。

加えて、同システムでは、テキストデータの内容を自動解析し、そこで表現された感情や話題に合わせて自動的にフォントを切り替える「DNP感情表現フォントシステム」を活用している。

DNP感情表現フォントシステムを活用することで、音声をテキストにした際に、単語が持つ感情やイメージに合わせて、最適なフォントや色を自動的に選択して表示される。フォントや色が変化することで、感情やイメージを読み取りやすくなるだけでなく、テキスト内の重要な部分に目が行き、理解しやすくなるという効果があるという。

DNPは、スマートグラスを利用したMR体験について、機能や用途の開発などを継続するとともに、ユニバーサル・コミュニケーションの一助となる製品・サービスを美術館・博物館や企業・自治体などに展開していきたい構え。