超解像に用いる3つの技術:「画像レジストレーション」「ボケ補正」「MAP推定」

前の節で紹介したように、デジタル画像から超解像画像を作るには、「低解像度化」と「低画質化」という、2つの画質の劣化にそれぞれ対処する必要があります。それらに対してそれぞれ「高解像度化」と「高画質化」という「反対の復元処理」を行うことで、未知の高解像度で高画質な画像を推定します。そして、これらが以前説明したMAP推定を行う際の劣化関数の各関数を求める処理になります。

「高解像度化」と「高画質化」にはそれぞれ以下の2つの技術が用いられます。

1. 高解像度化の技術:「画像レジストレーション」

高解像に用いる動画中の各フレーム間では被写体や背景が動きますが、それら各フレームからある1つのフレーム(レファレンスフレーム)への変形・移動度を求める技術が"画像レジストレーション"です。これにより動画中の各フレームのレファレンスフレームに対する移動量がわかるので、各入力画像から各画素を画像レジストレーションで求めた移動量だけ動かして重ね合わせることにより、高解像画像を作成することが可能になります。この画像レジストレーションにより、MAP推定の劣化関数のうちM(モーション)とD(ダウンサンプリング)の関数の形を計算できます。

2. 高画質化の技術:「ボケ補正」

低解像度画像において、高解像度にした際には存在していないピクセルをただ適当に補間しただけでは、うまくボケが取り除けません。そこで、必要になるのが"ボケ補正(Image Deblurring)"という技術です。ボケ補正により、レンズによる焦点ボケやカメラのぶれによるモーションブラーなどで生生じたボケを取り除いた、「ボケが生じる前の画像」を復元することができます。これにより、現在の入力画像をボケが生じる前の超解像度画像に戻すという復元処理が可能になり、ボケを取り除いた綺麗な高解像度画像を取得できるのです。このボケ補正により、MAP推定の劣化関数のうちB(ブラー:ぼけ)の関数の形を計算できます。

以上、これらの2つ処理が超解像のメインの復元処理です。これらの処理により、MAP推定に必要な劣化関数を構成する3つの関数D(ダウンサンプリング)、B(ボケ)、M(モーション)を計算することが可能になります。

それでは、次回からは超解像の要素技術、「画像レジストレーション」、「ボケ補正」、「MAP推定」の仕組みについて、順番にその詳細をみていくことにしましょう。