パッチマッチによるリシャッフリング

パッチマッチはインペインティング以外の画像編集にも用いることができ、その1つとして上げられるのが「リシャッフリング(reshuffling)」という編集です。

パッチマッチによる画像のリシャッフリング

図で示したように、背景部分は自然さを保ったままで指定した前景領域(ここでは人物)だけを移動しすることで、元画像の各パーツを再度シャッフルした画像を作る処理を「リシャッフル」と呼んでいます。インペインティングでは、指定した領域さえ自然なパッチで埋めれば良かったわけですが、リシャッフルの場合は、異動先の背景とも融合する必要があります(ただし、移動する領域が綺麗に前景領域だけ切り出されていれば、移動先で背景と整合性を取り直す必要はありません)。

次の動画は、Adobe Photo Shop CS5で搭載されているパッチマッチによるリシャッフルやインペインティングの処理の様子を紹介しているものです。

このように、パッチベースの処理では指定した境界線が大まかなものでも、処理後の境界線周辺をパッチごとに埋めて整合性を取る事でつないで自然な画像に仕上げてくれるという利点があります。これにより画像編集を作業する人は、対象領域をおおまかに囲んで指定するだけでインペインティングやリシャッフルなどが楽に行う事ができるわけです。

まとめ

以上、パッチベースの手法によるインペインティングの基本的な仕組みと、そのパッチベースの手法の探索を高速化した「パッチマッチ」というアルゴリズムを紹介しました。

パッチベースの対応点探索を用いるとインペインティングのように画像中の特定の領域を綺麗に消して自然にその部分を埋めたり、またはその特定の領域を画像中の他の場所に綺麗に動かしたりできるわけですが、このままですと「処理をしたい画像が元の画像での大きさのままのコピー・アンド・ペーストする」ことしかできません。そうすると、例えば元の画像が1280×800の解像度だったものを、横幅だけ短くして800×800にしたい時に、要らない物体を消すだけではなく、映っているものの横幅や縦幅も自動調整しない限り、全自動的に800×800の画像に編集できるアルゴリズムが成立しません。

そのような「縦横比変更」とその際の「不要領域の自動選択」を実現する画像編集技術が「リターゲティング」です。このリターゲティングについては、また回を改めて紹介します(ちなみにパッチマッチもリターゲティングを実現できるアルゴリズムです)。