GUIE（Google Universal Image Embedding）の学習済みモデルを使用して類似画像検索を行う

概要

GUIE（Google Universal Image Embedding）の学習済みモデルを使用して類似画像検索を行うサンプルプログラムを作成しました。以下からノートブックにアクセスいただけます。

以下のノートブックの出力ファイルであるモデルを利用しています。

ノートブックの実行には、Kaggleのアカウントが必要です。Kaggle API Keyを取得して、それらをシークレットに登録します。

以下が表示された場合には、「アクセスを許可」を押してください。

また、Kaggleからモデルをダウンロードする部分で、一定時間待つ必要があります。

以下のように、類似画像検索の結果が表示されます。

ジャパンサーチで公開されているギャラリー「祇園祭」の一部画像を利用しています。

Google Colabにデフォルトでインストールされているtorchvisionではうまく動作せず、バージョンを0.12.0あたりまで下げる必要がありました。

今後、Elasticsearchの近似最近傍探索を使って、今回作成したベクトルに対する検索を行いたいと思います。

参考になりましたら幸いです。