幕張メッセで3年ぶりに開催されている「CEATEC 2022」(会期：10月18日～10月21日)。ここでは、高精細な映像が空中に浮いて見え、さらに非接触技術によって映像に“触れる”「空中ディスプレイ」などを展示していた京セラのブースをレポートします。

  • 京セラのブースで参考展示されていたものの一部。(左上から時計回りに)仮眠時の起床を手助けするAIモデルを組み込んだシステム「sNAPout」、空中に高精細な映像を浮かび上がらせる「空中ディスプレイ」、聞き逃してしまった音をリプレイして聞き返せるようにする「聴覚拡張ヒアラブルデバイス」、指輪に“触れる”こともできる「空中ディスプレイ」

CEATECは、“IoTや共創で未来の社会や暮らしを描く「Society 5.0の総合展」”と位置づけるイベント。かつての家電見本市だった頃とは違い、2016年からはコンシューマ向けの家電展示などが大幅に減ってBtoB向けの展示が中心になっています。

とはいえ、2022年も最終製品を含むソリューションの紹介などが各社のブースで用意されており、これから一般消費者の生活を変えていきそうな技術が垣間見られます。

今回取り上げる京セラブースでは、ワコールと共同で行っている研究成果のひとつである、センサーで歩行姿勢をコーチングするシステムを出展。人に寄り添いながら、人間の能力を補完・向上させ、新たな体験を可能にする「人間拡張」技術のひとつとして開発したもので、訪れた人々の目を引いていました。詳細は別記事で紹介しているので、ぜひご一読ください。

  • ワコールと共同で行っている研究成果のひとつ、センサーで歩行姿勢をコーチングするシステムのデモ展示

高精細な映像に触れる! 非接触技術も投入「空中ディスプレイ」

  • 非接触で操作できる技術も盛り込んだ「空中ディスプレイ」の展示

その体験エリアの裏で展示していたのが、空中に高精細な映像を浮かび上がらせる「空中ディスプレイ」です。初出展となるこの技術について、ブースでは画面の大きさや体験できるコンテンツが異なる3パターンのデモを用意しており、スイッチやボタン、コントローラーといった“モノ”に触れることなく、画面内の操作が行える非接触技術も盛り込んでいました。

デモのひとつが、空中を泳いでいる魚のCG映像に人の手や指をかざすと、その位置や動きに魚が反応して近寄ってくるというもの。指先に触れた感触はありませんが、特殊なゴーグルなどを付けることなく、浮遊する映像が指先に近づいてくるのが見られるのはなんとも不思議な感覚です。

もうひとつは、これよりもコンパクトなディスプレイに指輪のCG映像が浮かんで見え、指の動きに合わせて360度の回転と拡大縮小ができるデモ。指輪に触れて上下左右に回せるだけでなく、手前でスマホのピンチイン/アウトのような動作をすることで指輪にズームイン/アウトできました。魚のように動き回らないこともあり、さらにブレを抑えた高精細な映像を実現できていたのが驚きでした。

  • 指輪のCG映像に触れる空中ディスプレイのデモ

  • 浮かんでいるオブジェクトの詳細仕様を明示していた

さらに、もっと小さな浮遊映像をテーブルの表面に表示するデモもありました。カフェでの案内をイメージした動画が流れており、着座した人のバイタル(体調)を検知してオススメのメニューを提案。最後にQRコードが表示され、そこで会計するという流れになっていました(実際には、このQRコードを読み込むと京セラのWebサイトにリンクしている)。

各種センサーと組み合わせてインタラクティブな非接触操作を可能にすることをイメージしたデモ映像なので、展示されているテーブルに実際にセンサーが組み込まれているわけではないのですが、こういった接客システムが実現すれば、色々と面白い使い方ができそうです。

  • テーブルの表面に小さな浮遊映像を投写

  • カフェでの接客をイメージしたデモを体験できるが、什器にセンサーや決済機能が組み込まれているわけではない

この空中ディスプレイ技術では、独自設計のミラーを組み合わせることで光源となるディスプレイの光を制御。ミラーを折りたたむように配置して小型化を可能にしつつ、京セラが培ってきたディスプレイやレンズの技術も融合し、「思わず触りたくなる感動体験」を提供できるといいます。

空中に浮かび上がる高精細かつ高画質な映像を維持しながら、映像の飛び出し距離を長くし、低消費電力での高輝度化も追求。各種センサーを組み合わせての非接触操作に対応する点も大きな特徴です。

主な用途としては、高精細な映像表示が求められる医療分野をはじめ、映像没入感のあるアミューズメント、美術館・店舗などの展示ディスプレイ、自動車のダッシュボードでの活用などを見込んでいます。アミューズメント施設や美術館などで将来、VR/ARや大画面表示とはまた違った映像体験ができるようになるのかもしれません。

  • 空中ディスプレイ技術の概要

聞き逃し防止デバイス披露、「サッと寝られて、スキッと起きられる仮眠システム」も

  • 聴覚拡張ヒアラブルデバイス

京セラブースでは、音声に関する参考出展も多数見かけました。そのひとつが、駅や空港のアナウンスなど、聞き逃してしまった音をリプレイして聞き返せるようにする「聴覚拡張ヒアラブルデバイス」です。

これは、耳をふさがない骨伝導イヤホンとバイノーラルマイクを組み合わせ、さらに周囲の音への注意を代替するAIを組み込んだもの。AIでは、音声を一定期間録音して貯めておく「リングバッファ」、聞き逃したくない音を自動で検知する「イベント検知」、聞き逃してしまっても耳を覆うように手を当てるだけで聞き返せる「リプレイ制御」の3つの処理が行われ、音響処理を施して装着者の耳元へとリプレイ音声を送り出します。

会場が混雑していたこともあって、デモのリプレイ音声の音質には課題があり、これからブラッシュアップしていくとのこと。それでも、聞き逃した音声を耳元で、複雑な操作なしで聞き返せるのは画期的といえます。

  • ぱっと見は耳をふさがない骨伝導イヤホン。ここにバイノーラルマイクと、周囲の音への注意を代替するAIを組み合わせている

現在、市場で手に入れられるイヤホンには音楽を聴いたり、人と会話したりできるだけでなく、補聴機能を組み込んだり、運動量や脈拍を測れたりするものもあります。京セラはそこに、上記デバイスの技術をベースにした「(イヤホンで)集中・記憶を助ける」機能を提案。同社がこれをイヤホンとして製品化するというよりは、さまざまなイヤホンデバイスの基本機能として同技術を付加できることを他社にアピールしていく模様です。

  • 聴覚拡張ヒアラブルデバイスの概要

また、同じように耳周りに装着するデバイスの技術として、小型センサーを搭載したイヤホンで血流量を計測する仮眠起床AIシステム「sNAPout」も初出展していました。「サッと寝られて、スキッと起きられる仮眠システム」をキャッチコピーに掲げており、睡眠時間が長いのが悩みでショートスリーパーになりたい筆者としては注目せざるを得ない技術です。

  • 仮眠起床AIシステム「sNAPout」。見た目はごく普通のワイヤレスイヤホンだが、血流量センサーが組み込まれている

具体的には、普段はワイヤレスイヤホンとして使えるデバイスに、小型のレーザードップラー式血流量センサーと、血流量から睡眠段階を判定する独自の“仮眠起床AIモデル”を搭載。入眠時間を短縮する効果が期待できるという入眠音を鳴らして(左右の耳に周波数の異なる音を再生して)装着者を眠らせ、スッキリ起きられるタイミングを感知すると、スマホのアラームを鳴らして起床を促す、という仕組みです。

  • センサ－の実装モジュール

一般的に、人の睡眠サイクルは約90分おきに深い睡眠と浅い睡眠のスパンを繰り返しているといいますが、これは個人差や体調にも左右されるので誰もが一定のサイクルというわけではありません。sNAPoutの大きな特徴は、センサーとAIを組み合わせることで装着者の仮眠と起床のタイミングをパーソナライズできるところにあると考えられます。個人的には、ぜひとも近いうちに商品化されて欲しい技術のひとつだと感じました。

  • sNAPoutの概要