パナソニック、世界最高級の感度を実現したハイパースペクトル画像撮影技術を開発

パナソニックホールディングスは1月26日、医療や宇宙探索で使われる圧縮センシング技術を応用した「ハイパースペクトルイメージング技術」を開発したと発表した。

ハイパースペクトルイメージング技術は多数の波長での高い分解能によって、対象物を撮影および可視化する技術で、今回は世界最高クラスの感度でハイパースペクトル画像を撮影。肉眼では判別できないわずかな色の違いを識別でき、画像分析や画像認識の精度向上が可能とした。

パナソニックホールディングステクノロジー本部マテリアル応用技術センター主任研究員の八子基樹氏は、「人が判別できるRGBの3色だけではわからないような細かい波長の識別が可能であり、そこから人間が知覚する色以上の情報が得られる可能性がある。ハイパースペクトルイメージング技術とコンピュータビジョンを組み合わせることで、20色でも、100色でも分析が可能になるため、リンゴを見ても赤いリンゴと認識するだけでなく、鮮度や糖度なども分析できるようになるだろう。次世代の外観検査の実現につながる」としたほか、「実用化の時期は未定だが、まずは工場での生産品の外観検査などの用途を想定している。波長をもとに判別が可能なものであれば適用できる」と述べた。

パナソニックホールディングステクノロジー本部マテリアル応用技術センター主任研究員の八子基樹氏

ハイパースペクトル画像は、光の波長ごとに取得された画像のなかで、波長数がおおむね10以上のものを指す。従来のハイパースペクトル画像の撮影では、プリズムなどの光学素子を用いて検出するスキャン方式と、特定の波長の光を選択してフィルターを通すスナップショット方式があったが、いずれも光を波長ごとに検出するため、波長の数が増えると、光の利用効率(感度)が低下するという制約が生まれていた。そのため、ハイパースペクトル画像を撮影する際には、晴れた日の屋外に匹敵する1万ルクス以上の明るい照明が必要で、操作性や汎用的な利用には課題があった。

今回開発した撮影技術は、観測データを間引くことで、データを効率的に取得し、演算処理では間引かれる前のデータを復元する圧縮センシング技術を応用。複数波長の光を通して、画像データを適切に間引くことができる特殊フィルターをイメージセンサー上に搭載。独自のデジタル画像処理アルゴリズムによってデータを復元するとともに、ソフトウェアが、色を分ける機能の一部を担うことで、波長数と感度の制約を解決している。

今回開発された技術の概要 (資料提供:パナソニックホールディングス)

圧縮センシング技術は、医療現場におけるMRI検査や、宇宙におけるブラックホール観測でも使われている手法であり、これにより、世界最高クラスの感度でハイパースペクトル画像を取得でき、550ルクスの室内照明でも動画撮影が可能になるという。

ハイパースペクトル画像の活用例としては、医療分野においては、同じ白色系の錠剤でも、含まれている成分によりわずかに色が異なる場合の判別に使用。包装の自動化やミスの発見につなげることができる。また、農業分野や食品分野では生鮮食品の成分や鮮度を画像から識別。トマトやリンゴなどの糖度を検査することができるという。室内の照明で済むため、撮影時に照明による温度上昇が要因となって食品の劣化が進むといったことも防げる。また、塗装ムラの検査や製品の外観検査に活用すると、人では違いが判らないほどわずかな色の違いでも、ハイパースペクトル画像を用いることで見分けられるという。

今回のハイパースペクトルイメージング技術には、3つの特徴がある。

1つめは、複数波長の光をランダムに通す特殊フィルターを開発したことだ。

開発された空間的・波長的にランダムフィルタの概要 (資料提供:パナソニックホールディングス)

従来のハイパースペクトル画像撮影では、プリズムなどの光学素子や、特定の波長の光を選択的に通すフィルターを用いて、イメージセンサーの画素ごとに割り当てられた波長の光を検出していた。だが、これらの方法では、画素ごとに見ると、割り当てられた波長以外の波長の光が検出されないため、波長の数に反比例して感度が低下するという課題があった。

今回の技術では、光が持つ波の性質を利用した「分散ブラッグ反射器(Distributed Bragg Reflector=DBR)」と呼ぶ構造を用いた特殊フィルターを開発し、これをイメージセンサーに搭載。特殊フィルターは、観察対象から放たれた光を、画素ごとや波長ごとに、ランダムに強度を変えて通すように設計されており、これがデータの間引きを実現することになる。

「異なる光透過特性を持つ64種類のフィルターをランダムに配置した空間的なランダム性と、波長が変わると光透過パターンが変わる波長的なランダム性を実現した。これは世界初の技術となり、この特殊フィルターにより、高効率な圧縮センシングが可能になる」という。

また、適切に間引かれた状態で検出することで、間引かれる前の状態をソフトウェア上で復元する復元演算を採用。ソフトウェア上の復元によって、色分離が行われる。この演算は一般的なGPUで行え、開発段階においては、NVIDIA GeForce RTX 2080を使用したという。ソフトウェアでは画像の滑らかさを仮定して色情報の復元および分離を実施しており、色を分ける機能の一部をソフトウェアが担当することで、感度における物理的な制約を解決したハイパースペクトル画像の撮影を可能にしている。

2つめは、従来比10倍となる世界最高クラスの感度のハイパースペクトル画像の撮影が可能になるという点だ。特殊フィルターを用いることで、複数波長の光が通るため、イメージセンサーが検出する光が増加し、感度が向上させている。

同社によると、従来技術では入射した光の利用効率は5％以下だったが、新たに開発した特殊フィルターは約45％とし、世界最高クラスの感度を実現。一般的なオフィスの照明程度でも明瞭な撮影ができる。

光利用効率45％を実現 (資料提供:パナソニックホールディングス)

また、開発した特殊フィルターとソフトウェア上での色復元を用いて、450～650nmの可視光線領域を20波長に分けたハイパースペクトル画像の撮影に成功。特殊フィルターによるデータの間引きが適切に行われているため、ソフトウェア上で正確に色を分離。20波長の色情報を検出できるため、肉眼やカラーカメラに比べて、画像分析や認識の精度が向上する。

可視光を20波長に分けたハイパースペクトル画像の撮影に成功 (資料提供:パナソニックホールディングス)

3つめが、高いフレームレートによる高い操作性の実現である。

従来のハイパースペクトル画像撮影技術では、感度が低いため、映像がコマ送りのように表示され、撮影時にピント合わせや位置合わせが難しいという課題があった。新たな技術では、高い感度により、短いシャッター時間で撮影が可能になるほか、ソフトウェア上での色分離を独自のアルゴリズムによって高速化することで、フレームレートが30fpsを超えた高速なハイパースペクトル画像を取得することができる。

「一般的な動画と同じ滑らかな動画となるため、ピント合わせや位置合わせなどの操作を容易に行うことができる。また、AIを用いた高速演算により、1920×1080画素のフルHDでのハイパースペクトル動画の撮影も可能になっている」とした。

フルHDでのハイパースペクトル動画も撮影可能となる (資料提供:パナソニックホールディングス)

今回の技術は、パナソニックグループとしての技術の蓄積と、緊密な連携によって生まれたものだという。

パナソニックホールディングスのテクノロジー本部マテリアル応用技術センターが持つ光学技術、テクノロジー本部デジタル・AI技術センターによるソフトウェア技術、マニュファクチャリングイノベーション本部のモノづくり技術を活用。特殊フィルターの生産には、半導体製造プロセスを採用し、量産にも適しているという。イメージセンサーは一般的なデバイスを利用できるという。

パナソニックホールディングスでは、パートナーとの連携によって、同技術の用途を拡大。色情報に基づいて高精度な画像分析や画像認識を行う新たなセンシングソリューションや、高感度なハイパースペクトル画像撮影技術によるマシンビジョン用途への拡大を模索していくという。

パナソニックホールディングステクノロジー本部マテリアル応用技術センター主幹研究員の石川篤氏は、「現在、評価用カメラを、パナソニックグループの事業会社や協力会社に提供し、基本性能や機能の評価を始めているフェーズにある」とした。