米Googleの「Googleフォト」は写真やビデオの検索のしやすさで高く評価されているが、同社はマルチモーダルAIモデル「Gemini」を使ってその能力をさらに向上させようとしている。
Googleは5月14日（現地時間）、テクノロジーカンファレンス「Google I/O 2024」で、Google Photosの新機能「Ask Photos」を発表した。ユーザーのリクエストをより深く理解し、自然で直感的な方法で写真やビデオを見つけることを可能にする。数カ月以内に実験的な機能として提供開始される予定である。
Googleフォトでは、人物、被写体、撮影場所やイベントなどキーワードを入力して検索できるが、大量の写真があると、絞り込んでも多くの写真をスクロールしなければならない。Ask Photosでは「私が訪れた国立公園のベストショットを見せて」というように、詳細な条件の検索を自然に会話するように行える。Geminiはユーザーの質問から、場所、人物、日付といった関連キーワードだけでなく、質問の意味を理解し、ユーザーが探しているものを見極めてユーザーの代わりに探す、高度な検索を可能にする。
Geminiのマルチモーダル機能は、写真のコンテキストや被写体も理解するため、写真を探すだけではなく、写真に写っている情報についても質問できる。たとえば、車のナンバープレートの情報が必要な時に「私のナンバープレートは何だっけ？」と質問すると、ライブラリーからナンバープレートが写っている車の写真を探し出してくれる。
子供の誕生会を計画する際に、「レナの誕生パーティにはどんなテーマがあった?」と尋ねると、Ask Photosはパーティのデコレーションやバースデーケーキの情報が必要であると理解して、それらの写真を集める。
他にも、旅行から帰ってきた際に友達や家族と共有するための写真を選ぶ時間がない時、Ask Photosを使うと旅行のハイライトを簡単に作成できる。また、ソーシャルメディアで共有するのに適した1枚を選んでもらい、さらに効果的なキャプションを提案してもらうことも可能である。
Googleは、Ask Photosの個人データを広告に使用することはなく、悪用や危害に対処するケースを除いてAsk Photosの会話や個人データを確認することもない。Ask Photosには、安全で適切な回答を保証するために何重ものセーフガードが採用されているが、「実験的な機能」として提供開始になるため、ユーザーはその点を理解して利用する必要がある。
