こうしたメタレンズを通常のデジタルカメラに装着して物体を撮影すると、カラー画像でありながら、多様な波長帯の光を変調・重畳してHS画像よりも大幅に画像数が少ない「圧縮画像」を取得することが可能となる。

またメタレンズは光透過性が高いため、小さいf値を持つ明るいレンズとして利用できるため、短いシャッター時間でより多くの光を効率的にセンサに導くことができ、通常のカメラと同等のフレームレートでの動画撮影も実現されたとするほか、イメージセンサで撮像された圧縮画像の解像度でHS画像を再構成するので、解像度も通常のカメラと同等となるとする。

さらに、光学部分がメタレンズとイメージセンサだけのシンプルな構成にできることも今回の技術の大きな特徴だという。

  • (上)ハイパースペクトルカメラの構成の比較

    (上)ハイパースペクトルカメラの構成の比較。左と中央が従来方式の構成模式図で、右が今回の技術の模式図。(下)左が今回開発されたメタレンズで、中央がその拡大図。右は同レンズを搭載したカメラ (出所:NTT Webサイト)

今回の研究開発ではHS画像再構成技術も開発された。メタレンズで撮影された波長情報が重畳された圧縮画像は、それをもとに圧縮される前の状態として“もっともらしい”スペクトル画像を推定する必要がある。しかし、従来は膨大な計算時間を要したり、スペクトル画像のもっともらしさの定義が困難だったりした。そこで今回は、凸最適化アルゴリズムの計算手順をもとにニューラルネットワークが設計され、既知のHS画像から「もっともらしい」性質を学習することで、高速・高精度での画像再構成技術が実現されたという。

メタレンズとHS画像再構成技術を用いたHS画像の取得については、実機を用いた基本原理が確認済みだとするほか、得られた画像は、可視光から近赤外光に渡る45波長バンドのHS画像で、使用したデジタルカメラの性能を劣化させることなくHD解像度・フレームレート30fpsの動画が得られたとのことで、この結果は、従来の一般的なHSカメラの性能を上回るものだとNTTでは説明している。

  • 今回の技術によるハイパースペクトル画像の再構成

    今回の技術によるハイパースペクトル画像の再構成 (出所:NTT Webサイト)

なお、今回の技術を用いることにより、スマートフォンも含めてデジタルカメラの機能を自然に拡張し、その撮影画像をHS画像に置き換えることも可能になることに加え、動体の撮影、自由に動く移動体からの撮影なども高解像度で行えるようになり、その結果、非接触での生体情報取得によるヘルスケアへの応用、ドローンからの空撮画像の解析による農作物の生育診断など、農林水産業やヘルスケア産業、製造業といったさまざまな分野への適用も期待できるとしている。

そのため今後は、コラボレーションパートナーと連携してユースケースへの適用実験を通し、HS画像の再現精度が十分であるか否かの検証、およびその結果を踏まえた技術の改良を進めて、実用化を目指すとしている。