富士通、JR東日本、JR東日本クロスステーション、大日本印刷(DNP)は、音の視覚化装置「エキマトペ」を用い、6月15日から12月14日までJR上野駅1・2番線(京浜東北線・山手線)ホームにて、アナウンスや電車の発着などの音情報を文字や手話で表現する実証実験を実施すると発表した。

  • 「エキマトペ」の筐体イメージ

富士通とJR東日本、DNPは、2021年7月に川崎市立聾学校で開催された「未来の通学」をテーマとしたワークショップをきっかけに、誰もが使いやすく、毎日の鉄道利用が楽しくなるような体験をめざし、駅のアナウンスや電車の音といった音情報を文字や手話で視覚的に表現する装置「エキマトペ」の開発プロジェクトをスタートした。

「エキマトペ」を活用した第1弾のプロジェクトとして、2021年9月13～15日の3日間、JR巣鴨駅にて駅ホームに流れる音を視覚化する実証実験を実施。SNSなどを通じて、駅利用者から多くの反響があったという。

第2弾となる上野駅での実証実験においては、参画企業としてJR東日本クロスステーションが加わり、社会実装に向けてさらなる省スペース化やコスト削減を意識した「エキマトペ」の筐体の改善を図った。駅を地域とのタッチポイントとして機能拡張できるように、ダイバーシティ＆インクルージョンに関する地域情報の掲示機能も追加している。

  • 「エキマトペ」のディスプレイの表示イメージ

  • 「エキマトペ」の利用イメージ

実証実験では、音の視覚化装置「エキマトペ」を活用し、ホームに流れるアナウンスや電車の発着音、ドアの開閉音などをマイクで集音。AI分析でリアルタイムに文字や手話、擬音語、擬声語といったオノマトペに変換し、ホーム上に設置された自動販売機上部の専用ディスプレイに表示する。

音情報の視覚化にあたっては、富士通のスーパーコンピュータ「FUJITSU Supercomputer PRIMEHPC FX1000(PRIMEHPC FX1000)」で構築したAIの学習モデルを活用し、マイクで集音した駅の音情報を識別。ホームに流れる定型アナウンスは、テキストに変換されると同時に事前収録したJR東日本の駅社員による手話動画とともにディスプレイ上に表現される。電車の発着音やドアの開閉音など、手書きアニメーションで表現される。

駅社員によるアナウンスを富士通のコミュニケーションツール「FUJITSU Software LiveTalk(LiveTalk)」でテキスト変換し、DNPの「DNP感情表現フォントシステム」を通じて、文章の内容に適した感情豊かなフォントで表現するとのこと。

今後、富士通、JR東日本、JR東日本クロスステーション、DNPの4社は、実証実験を通して得られた知見や、駅利用者からの「エキマトペ」の体験に関するフィードバックをもとに、駅の利便性向上をめざし、あらゆる利用者への情報伝達のあり方について検討を進めるとしている。