動画への応用

ここまで、静止画一枚のリターゲティング方法を紹介してきましたが、動画に対しても同様の手法でリターゲティングを行うことが可能です。

実際、動画に対するシーム・カービングの手法も存在しています(下図)。動画では、毎フレームごとにシームを何回か引き、それらのシームが時間方向にどのように隣接していれば時系列的に自然になるかを、グラフ分割アルゴリズムなどで求め、動画全体に対して求めたそのシーム群の画素を最後に削除するというものです。

図:動画でのシーム・カービングの例

これはシーム・カービングによる動画応用ですが、「パッチ対応探索手法による画像編集処理」全般でも、時系列方向でも結果画像の自然さを達成する処理を加えた動画に対する画像編集が可能です。時系列的なつながりを考慮する処理を加えれば、リターゲティングだけでなく、インペインティングやリシャッフリングの処理も、動画に対しても行うことができます。ただし、全探索的なパッチ対応探索は、パッチマッチなどの高速手法計算が登場はしてはいるものの計算コストは高く、一枚絵の編集なら短い時間で終わるものの、動画に対してリアルタイムに行うのはまだ厳しいです。

今後これらの手法がさらに高速化されれば、リアルタイム処理のレベルでリターゲティングをはじめとしたリターゲティングやインペインティングにリシャッフリングといった自動編集技術を行う事が可能になると言えます。とりわけリターゲティングについては、例えばテレビの生放送で元映像をリアルタイムに近いレベルでリターゲティングし、元映像と縦横比が違うディスプレイに表示するということも可能になるかもしれません(ただし、リターゲティングすると元映像から情報が無くなったり改変されたりする領域があるので、これが正しい応用なのかどうかについては議論の余地があります)。

また、テレビ放送やインターネットでのストリーム動画などへのリターゲティング応用について、今回の記事で他に議論してないのが「映像圧縮の影響」です。特にインターネットではMPEG系の符号化された動画データでストリーム配信されるわけですが、これをリアルタイムに処理するにしろ、先に時間をかけて処理するにしろ、圧縮されている画像・映像ですので、エイリアシングの影響などや圧縮による映像の見え方への変化も必要となるでしょう。例えばシーム・カービングの場合は、1ピクセルだけ取り除くことでそれまでの画像と空間周波数の様子が変わるので、圧縮により意図していなかったアーティファクト(たとえばノイズや歪み)が生じやすいです。こういった圧縮による影響を抑えながらリターゲティングを行ってくれる技術が確立していけば、さらにテレビやインターネット動画への応用は進むでしょう。

今回のまとめ:自然な画像領域編集技術のメリット・デメリットについて

以上、画像や動画を、元の自然な見え方を保ったまま目的のサイズまで縮小する「リターゲティング」という技術を紹介しました。特に、後半は、インペインティングの時にも紹介した「パッチマッチ」などの高速最近傍フィールド計算手法が、リターゲティングにも使用できて応用範囲が広い手法であることも紹介しました。

リターゲティングは「重要度マップを用いて自動的にインペインティングや領域削除を行っている」と見る事もできます。インペインティング、リターゲティング、リシャッフリングなどの、人の視覚からすると目立たない領域を自然に消し去ったり埋めたり移動したりする画像編集手法は、「自然な編集画像を自動的に生成してくれる」という点が最大のメリットです。

一方でこの自然な画像編集がデメリットと捉えられる場合もあります。例えば、編集後の画像の見えが良くなるような重要度マップを(特に手作業で)作っておけば、リターゲティング後の画像には全体の見えが良い領域だけ優先的に残って、消えた部分には気付かないので、作為的に特定の領域を消すことで構図感を変えて画像の見栄えを良くできるわけです(これをデメリットと取るかは個人の捉え方次第ですが)。これは「芸能人などの写真が画像編集ソフトで綺麗に修正されているが、編集後の写真のルックスが増していることに気付かない」という話に近いですね。

もっとも、元画像の印象を良くすることだけが目的の画像編集であれば、多くの場合は大きな問題にはなりません。ただし、それが政治的もしくは宗教的な意図の強い写真などにおいて、作為的に特定の領域が自然に消去されておりそれに気付かない場合、思想の「悪い方への誘導」にも使用できるという問題点があります(これは加工可能なデジタル写真処理全般に潜む問題でもあります)。今回紹介してきたような自然な画像領域編集処理が今後も発展する現代では、「デジタル画像とその画像を撮影した現実の一致性を過度に信じない」という態度が賢明でしょうか(過度の疑心暗鬼もただの人間不信になるのでよろしくありませんが)。

それでは次回からは、スティッチング(パノラマ画像生成)の回から続いた画像・映像編集技術シリーズの最後として、映像安定化技術について紹介したいと思います。