2つの目的で使われるコンピュータビジョンのインペインティング

最近話題になったニュースで「素人のおばさんに修復されたせいで、原形とは似ても似つかない無様な絵に変わってしまったフレスコ画」というものがありました。その元の絵は、今から約120年前にスペインで描かれたフレスコ画が経年変化により欠けが出てしまっていたものです。その絵が高齢の一般の信者さんの手により修復されたものの、あまりにも原画を無視した修復がなされてしまって、原画とは似ても似つかないものになっており、その修復後の絵のひどさが地元で騒ぎになり、さらにはインターネットを通して世界中で話題になったというニュースでした。

これは極端な失敗例ではありますが、「絵画の原形をなるべく保持しながら綺麗なものに中世の絵画を修復する」という作業は、古くはルネッサンスの頃あたりから行われてきました。このような美術作品の修復作業のことを「インペインティング(inpainting)」もしくは「リタッチング(retouching)」と呼びます。インペインティングでは、(プロ画家までは行かずとも)修復作業に自信のあるくらいは画力のある職人が、修復対象の欠損領域やひび割れによる色の劣化などを、なるべく原形をとどめた絵になるように綺麗なものに手作業で修正します。

ここまではアナログのインペインティングの話でした。今回の記事から、このインペインティングに相当する修復処理を、デジタル画像に対して半自動的に行うという「インペインティング」という技術を紹介していきます(こちらも「リタッチング」と呼ぶ事もあります)。これ以降、「インペインティング」はこのデジタル画像処理である「コンピュータビジョン技術のインペインティング」を指すこととします。それではまずはそのインペインティングがどういう目的と用途で利用されているかについて説明しましょう。

インペインティングの目的と用途

人が手作業で行うアナログのインペインティングと同じで、コンピュータビジョンでのインペインティングには、主に以下の2つの目的があります。

1. 劣化部分の復活(例:ひっかき傷やゴミやチリによるスポット点。ひび割れ部分の上塗りによる修復)
2. 要素の追加/削除(例:政治的な言葉が書かれている落書きの除去と、除去したことにより失われた部分への周辺部分と同等の模様の追加)

つまり、不要な領域を削除した後に、その領域をそれらしいテクスチャで代わりに埋めたり、あるいは元の画像に存在していたノイズや劣化を取り除くことで、「それらしい見た目に復活させる」ことがインペインティングの目的になります。

インペインティングの処理とは、人物や物体を欠損領域と捉えてその領域を指定しておけば、処理を実行するとその領域以外の(背景)領域とつじつまが合うように欠損領域を背景領域から推定した「それらしい見た目の」パターンにより穴埋めしてくれるというものです。

デジタル画像向けにインペインティング技術が登場した最初のきっかけは、ビデオ映像のストリーミングにおいて、送信時に生じるパケットロスなどで復号化に失敗した画像ブロックをインペインティングで埋めるという用途です。それが現在では、画像に映った不要な人物や物体(標識や広告や障害物など)を除去したり、絵画だけではなくて「カメラで撮影したあらゆる映像の修復」といった用途において用いられるようになっています。インペインティングは、プロ用の画像編集ソフトだけでなく、スマートフォンなどのアプリでも広く用いられています。