動画の人物に笑顔やヒゲを後付け！アドビが驚きの次世代技術をチラ見せした「Sneaks」

アドビの年次クリエイティブカンファレンス「Adobe MAX」では、将来搭載される“かもしれない”次世代技術のチラ見せ「Sneaks（スニークス）」も恒例行事。2021年も「早く使ってみたい！」と思わせる技術が複数発表された。

司会は『サタデー・ナイト・ライブ』などで知られる米俳優・コメディアンのキーナン・トンプソン氏で、世界各地のエンジニアがリモート出演して進行された。ここでは、イベントで発表された将来の新機能候補の数々を紹介していこう。

Photoshopの「スタイルの適用」の動画版とでもいうべき機能「Artful Frames」。有名画家の作風のような効果をつけたり、ヒーロー映画のような特殊効果も手軽につけられる

▼Morpeus

PhotoshopにはすでにAI/機械学習を駆使して人物の表情などを変えられるニューラルフィルターが搭載されているが、その動画版とでもいうべき機能が「Morpeus」だ。カメラを意識して硬い表情になった被写体の表情を、簡単に笑顔に変えることができる。

左が元映像、右が「Morpeus」で笑顔にしたもの。映像がチラつくこともなく、自然な仕上がりになっていた

しかも、元の映像になかったアイテム（たとえばヒゲなど）を被写体に付け加えることも可能だ。ニューラルフィルターのオプションと同じことができるとのことなので、被写体を若返らせたり、肌をきれいにしたり、顔の輪郭を補正して見栄えをよくするようなこともできると思われる。

被写体を笑顔にしたうえでヒゲなどを付け加えるようなことも簡単にできる

▼In-Between

人物やペットの写真を撮影した際に、ベストショットを狙おうとして同じような写真を何枚も撮ることはよくあるが、それを活用してiPhoneのライブフォトのような“動く写真”を生成できるのが「In-Between」だ。

少しだけ異なる2枚の写真を選んで機能を適用すると、アドビのAI/機械学習技術「Adobe Sensei」がそれを解析して補完画像を自動で生成してくれる。たとえば目を開いた写真とつむった写真を元に、まばたきする動画を作ることができる。

2枚の写真を元に生成した動画。元の写真には存在しない表情が作り出されていることがわかる

元になる写真は2枚でなくてもOKなようで、Sneaksでは3枚のペットの写真からより複雑な動きの動画を生成するデモも披露された。なお、生成した動画はGIFに書き出してSNSなどに投稿することも簡単に行えるとのこと。

3枚の画像から動画を生成したところ。より複雑な動きの動画を作ることができる

▼On Point

クリエイティブワークでは、Adobe Stockなどのロイヤリティフリー素材を活用するシーンも結構ある。また、自分が過去に撮影した写真のライブラリから選んで利用することもあるだろう。しかし素材の数が多すぎると、目当てのものを探すのにも一苦労。そこで活躍するのが「On Point」だ。

スケッチに描かれた人物を元に、同じポーズの画像を検索しているところ。複数人のうちいずれかが同じポーズをとっている写真などもちゃんと検索されている

これは、画像の中の人物のポーズを検索クエリとして利用できる技術。元になる画像を読み込ませると、そのポーズが抽出されて似たようなポーズの写真やイラストが候補として表示される。元画像には棒人形のようなものが重ねて表示されるので、マウスなどでその形を変えてポーズを調整することもできる。また、元画像は写真だけでなく手描きのスケッチなども使える。

ポーズは棒人形の形をマウスで変えることで簡単に調整可能。ポーズを変えるとすぐに検索結果に反映される

▼Shadow Drop

Photoshopにはオブジェクトにドロップシャドウをつける機能が搭載されているが、基本的にオブジェクトの背面にしか影をつけられない。リアルな影をつけるには、ブラシで描いたり、選択範囲や変形機能を利用したりと、かなり手間のかかる作業が必要だった。そういっためんどうな工程を省ける機能が「Shadow Drop」だ。

オブジェクトに影をつけ、床に反射効果を与えたところ

この機能を使うと、3Dソフトでつけたような自然な影を簡単につけられる。影の柔らかさや角度なども設定できて、複数のオブジェクトの影をまとめて調整することもできる。また、床に反射効果をつけるようなことも可能。床から浮き上がっているようなオブジェクトの影や、床と壁の両方に影がついているような表現もできるので、よりリアルで立体的に表現できるようになる。

床と壁の両方に影をつけた状態。オブジェクトと影の距離も調節できるため、ベッドが浮いているような表現も実現

▼Sunshine

手描きのスケッチやイラストをベクター化する際に便利なのが「Sunshine」。ワンクリックで高精度なベクターアウトラインに変換することができる。

ベクター化したあとにAdobe Senseiの技術を活用してパーツごとに色をランダムに割り当てるようなことも可能。Sneaksでは手描きのキャラクターをベクター化して色をつけるデモが披露されたが、Adobe Senseiが自動で生成した配色の自然さが印象的だった。このほか、影を自動でつけることもできる。イラストや漫画を制作する際に重宝しそうな機能だ。

簡単に手描きスケッチをベクター化

Adobe Senseiの技術を活かして、ベクター化したイラストに色をつけたり影をつけたりするのも一瞬

▼Stylish Strokes

Illstratorで既存の書体を筆文字風にしたり、文字に模様をあしらったりしたい場合、文字をアウトライン化してブラシを適用すれば簡単に実現できる。しかし、ブラシは文字のアウトラインに沿って適用されるため、筆致や模様が歪な形になるなど、イマイチな仕上がりになってしまうことも多い。そこで役立つのが「Stylish Strokes」だ。

Stylish Strokesは、文字に模様をあしらってロゴを作成したい場合などに便利

ブラシパネルの「塗りに適用」をオンにすると自動的に文字の骨格に当たる線を分析して検出し、それに対してブラシを適用することが可能。このほか、文字をグラフィティっぽくすることも簡単にできる。タイトルロゴなどの制作に便利そうだ。

一瞬でグラフィティっぽい表現にすることも

画線ごとに動きのあるアートワークを適用することも。デモでは歯車などが動いていた

▼Make It Pop

「Make It Pop」は、Adobe Senseiの技術で画像の中の被写体や体のパーツ、衣服などを識別し、それをもとにベクター化する機能。写真から手軽にポップなベクターイラストを作成することができる。

体のパーツの接合部や前後関係なども理解しているため、たとえばベクター化したあとに腕だけを動かすようなことも行える。また、別の写真や動画の被写体をMake It Popで生成したベクターイラストに置き換えることも！　実写の背景とキャラクターアニメーションを合成したようなビデオも簡単に制作できる、すごく楽しそうな機能だ。

写真の被写体を自動で識別してベクターイラストにできる

生成したベクターイラストを、別の写真や動画の被写体と置き換えられる

▼Artful Frames

Photoshopのニューラルフィルターには、写真をモネやゴッホなどの有名な画家の作風に変換できる「スタイルの適用」機能があるが、そのビデオ版が「Artful Frames」。Sneaksでは夜の街並みの動画をゴッホの名作「夜のカフェテラス」風に変換するデモが紹介されたが、絵筆のストロークやカンバスのテクスチャなども再現されて、まさに動く油絵という感じ。もちろん、水彩やスケッチ風の効果も適用できる。