NECと国立大学法人東京工業大学 工学院の奥富正敏教授、田中正行特定准教授らの研究グループは、一般カメラで撮影した可視光画像と、熱をとらえるサーモカメラなどで撮影した非可視光画像を、AIで自動的かつ効果的に合成し、それぞれの画像単独では捉えにくかった対象物・状況の視認性を格段に高める「マルチモーダル画像融合技術」を共同開発した。

可視画像

遠赤外線画像

単純な合成

AIを用いて合成した写真

夜間や濃霧など悪天候下での施設監視、対向車の眩しいヘッドライトや暗闇による死角がある時の自動運転支援など、瞬時の視認が必要となる様々な分野で、悪条件下でも正しい状況判断が出来るようになる。もともと、異なる種類のカメラの画像を合成するには、専門家による手動での複雑な変換作業が必要であったが、それぞれのカメラで撮影した画像をAIによって、効果的かつ自動的に合成することでこの手作業を不要にした。

新技術では、サーモカメラや、テラヘルツ波でモノや生体を撮るテラヘルツカメラといったカメラの種類や、環境の特性(明るさ、光線の方向、障害物の有無など)に応じて、AIが画像内の各部分の視認性の度合いを評価し、各画像から最適な領域のみを自動的に抽出する。

AIが各画像の視認性の度合いを評価、最適な領域を自動的に抽出

さらに非可視カメラの画像中の、異常や危険物などに関するわずかな特徴をAIが解析し、白とびや黒潰れなどの画像破たんが生じない、適切な強調の度合いを判断しながら、画像を自動的に生成する。

AIが可視画像と非可視画像を組み合わせ、適切な協調度合いを判断する

NECと東京工業大学はこの技術を、パシフィコ横浜(横浜市西区)にて開催される「第23回画像センシングシンポジウム 2017」において、6月7日に発表する予定だ。