こんにちは、松井研元B4の島田です。卒業論文で取り組んだ研究が SIGIR 2026 のワークショップ SynthIR に採択されました。会場がオーストラリアのメルボルンで、7月20日〜24日の会期中、現地で参加してきました。

SIGIR について

SIGIR (International ACM SIGIR Conference on Research and Development in Information Retrieval) は、検索・情報検索分野におけるトップ国際会議です。NeurIPS や ICML といった機械学習分野の巨大会議と比べると規模は小さいのですが、その分、参加者どうしの距離が近く、ポスターの前で腰を据えて議論できる雰囲気があります。休憩時間に同じ人と何度も顔を合わせるくらいの密度感で、初参加でも会話が生まれやすいと感じました。

会期は5日間で、本会議のオーラル発表、ポスターセッション、産業トラック、チュートリアル、そして初日・最終日に配置されたワークショップから構成されます。

発表内容

今回発表したTowards Vision-Free CIR: Attribute-Augmented Scoring and LLM-Based Reranking for Zero-Shot Composed Image Retrievalについて簡単に紹介します。なお、この研究はキオクシアの皆様との共同研究として行われました。

Composed Image Retrieval (CIR) は、「参照画像」と「その画像に対する修正を表すテキスト」を組み合わせてクエリとし、意図した画像を検索するタスクです。たとえば服の画像に対して「同じ形で色を白にしたもの」といったテキストを添えると、その条件を満たす画像が返ってくることが期待されます。

このタスクは通常、参照画像と修正テキストを CLIP のようなマルチモーダル埋め込み空間で合成して検索します。しかし、画像特徴に依存する枠組みでは、テキストが要求する細かな属性の書き換えが埋め込み上でうまく反映されないという問題があります。

そこで本研究では、検索時に画像特徴へ直接依存しない vision-free な定式化を提案しました。参照画像を属性の集合として言語側に持ち上げ、属性を加味したスコアリングによって候補を取得したうえで、LLM による再ランキングで最終順位を決定します。学習を必要としないゼロショット設定でありながら、既存のゼロショット CIR 手法に対して精度改善を確認しています。

本研究はありがたいことに、本ワークショップの Best Paper Award をいただきました。

学会での体験

ポスターを一通り眺めて印象的だったのは、RAG や、検索パイプラインに LLM を組み込む手法に関する研究の多さでした。「検索の会議」というより「LLM 時代の検索の会議」という様相で、埋め込みモデル、リランキング、評価のいずれのレイヤにも LLM が入り込んでいます。

個人的に面白かったのは、RAG のコンテキストとして注入するパッセージ数 k をクエリごとに予測する、という研究です (Query-Aware Context Selection for Retrieval-Augmented Generation, Maya+)。分類器でクエリから必要な k を予測し、その値を目標として LLM に候補パッセージを絞らせる、という構成でした。

自分は、RAG のパッセージ数はすでに動的に決めるのが当たり前だと思い込んでいたのですが、実際には固定 top-k が標準的で、まだ最適化の余地が残っているという前提が新鮮でした。ポスターでは、gold となるパッセージがすべて含まれていても、distractor が1つ混ざるだけで生成性能が大きく落ちるという分析が示されており、「多く入れれば良い」わけではないことがデータで裏付けられていたのが説得力がありました。こういう「言われてみれば確かに検証されていない前提」に気づけるのは、現地で他分野のポスターを流し見する醍醐味だと思います。

検索分野ということもあり、産業トラックの出展が非常に充実していました。Amazon、Walmart、Meta、Instacart など、検索・推薦をプロダクトの中核に持つ企業が多数出展しており、日本からは ZOZO なども発表していました。

たとえば Amazon は、推薦結果の評価を LLM ジャッジで置き換えるという内容の発表をしていました (SAER: Scalable Assessment of E-commerce Recommendations using Large Language Models, Xiang)。従来はオフライン指標と人手評価の板挟みになるところを、LLM に pointwise / pairwise の両方で判定させ、人間のアノテータ間一致率を上回る一致度を達成した、という話です。評価という一見地味な部分が、実際には開発サイクルのボトルネックになっているという問題設定が現場感にあふれていて面白かったです。

その他

アメリカに留学していた経験もあり、サバイブできる程度の英語力はありますしたが、オーストラリアでは注意が必要です。カフェに行った際にはこんなやりとりがありました。まず注文口にいくと”How are ya, mate?”と言われます。”How are you?”と同じ意味なのでここは動じる必要はありません。普通のブラックコーヒーが欲しかったので、”Can I have coffee?”と言いましたが、”latte?”と聞かれることがいくつかの店でありました。ここは注意が必要です。謎だったのでその場では、”Just black, normal coffee”と連呼しました。後から調べたところ、オーストラリアはカフェ文化が発達しており、エスプレッソが一般的なため、普通のブラックコーヒーが欲しい場合は”Long Black”と注文するのが正しいようです。

あと、ご飯はHector’s Deliという店のサンドイッチがめっちゃうまい。