Tag · 10 篇
组合图像检索
面向零样本组合图像检索的自引导语义检查
Self-guided Semantic Inspection for Zero-Shot Composed Image Retrieval
DiffComp 用「短语引导掩码」主动制造图文语义差异,再以差异感知组合模块按差异程度自适应融合特征,这套「先制造差异再组合」的自监督训练范式可直接迁移到任何需要图文联合推理的检索或组合式生成任务中。
STiTch:协同语义过渡与传输的免训练零样本组合图像检索
STiTch: Semantic Transition and Transportation in Collaboration for Training-Free Zero-Shot Composed Image Retrieval
把检索从点对点匹配改成基于最优传输的集合到集合对齐,并用嵌入空间中的过渡向量修正 LLM 生成的描述,这两点可直接迁移到任何图文检索或跨模态匹配任务中。
检索反事实样本改进视觉上下文学习
Retrieving Counterfactuals Improves Visual In-Context Learning
把「示例选择」从被动相似度检索改成属性引导的组合图像检索,主动构造反事实示例对,可直接用于任何基于 ICL 的 VLM 少样本适配流程,尤其是小模型与信息稀缺场景。
ReCALL:为基于多模态大模型的组合图像检索重新校准能力退化
ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval
把生成式 MLLM 适配为判别式检索器时会出现细粒度推理能力退化,ReCALL 用「自引导难例挖掘 + MLLM 生成纠正指令与三元组 + 分组对比持续训练」的 diagnose-generate-refine 流程把退化能力拉回来;做多模态检索或把 MLLM 蒸馏成嵌入模型的工作可直接复用这套自举数据生成与一致性过滤机制。
PinPoint:面向显式负样本、多图查询与改写测试的组合图像检索评测
PinPoint: Evaluation of Composed Image Retrieval with Explicit Negatives, Multi-Image Queries, and Paraphrase Testing
为组合图像检索提供了带显式难负样本、多正确答案、指令改写与多图查询的评测基准,并给出一个可直接套用到任意现有检索系统上的免训练 MLLM 重排序方案,可用于诊断和缓解假阳性与指令敏感性问题。
G-MIXER:基于测地线混合的隐式语义扩展与显式语义重排序用于零样本组合图像检索
G-MIXER: Geodesic Mixup-based Implicit Semantic Expansion and Explicit Semantic Re-ranking for Zero-Shot Composed Image Retrieval
对做视觉-语言检索的人,这篇给出了一个免训练范式:用测地线插值在参考图特征与文本特征之间按多个混合比例生成组合查询,从而显式建模查询的隐式语义并扩大候选多样性,再用 MLLM 生成的显式描述做重排序;这套「隐式扩展+显式重排」的两阶段思路可直接迁移到其他跨模态检索与组合式查询任务。
ConeSep:面向组合图像检索的基于锥体的鲁棒噪声遗忘组合网络
ConeSep: Cone-based Robust Noise-Unlearning Compositional Network for Composed Image Retrieval
针对组合图像检索中三元组标注噪声(尤其是参考图与目标图高度相似但修改文本错误的“硬噪声”)提出噪声边界估计与定向遗忘机制,可复用于任何依赖图文三元组监督的检索/对齐训练流程,用于清洗错误对应关系。
超越语义搜索:面向组合图像检索的指代锚定
Beyond Semantic Search: Towards Referential Anchoring in Composed Image Retrieval
提出以边界框作为视觉锚点的细粒度组合图像检索任务,并设计上下文感知注意力调制器,可复用于需要实例级保真度的多模态检索与定位任务。
Air-Know:仲裁器校准的知识内化鲁棒网络用于组合图像检索
Air-Know: Arbiter-Calibrated Knowledge-Internalizing Robust Network for Composed Image Retrieval
用 MLLM 作为离线专家构造高精度锚框数据集,再把判别逻辑内化到轻量代理仲裁器中,为视觉-语言检索中处理噪声对应关系提供了可复用的「专家-代理-分流」解耦范式。
适配上下文生成以增强组合图像检索
Adapting In-context Generation for Enhanced Composed Image Retrieval
利用预训练文本到图像模型的上下文生成能力,在少样本下合成无偏的组合图像检索三元组,并通过分布鲁棒合成预训练和细粒度真实世界适配两阶段框架提升检索性能,为视觉-语言检索任务提供可复用的数据增强与微调策略。