ベクトル検索を用いた画像検索

Fessで画像ファイルをクロールして検索対象とする場合、従来は画像ファイルが持つメタデータの文字列しか検索対象にできませんでした。 しかし、近年の技術進歩により、マルチモーダル学習モデルを利用して、テキストと画像のベクトルを扱うことが可能になりました。 これにより、画像の内容をテキストで検索することができるようになります。

今回は、Fessがマルチモーダル学習モデルを利用して、画像の内容をテキストで検索する方法をご紹介します。

準備

Fessで画像検索を行うための環境は、GitHub上のcodelibs/docker-multimodalsearchで公開しています。 このリポジトリをクローンして、利用します。

$ git clone --branch v14.15.0 https://github.com/codelibs/docker-multimodalsearch.git
$ cd docker-multimodalsearch

実行にはDocker Composeが必要です。 事前にDocker Desktopなどをインストールし、利用できるようにしておいてください。