Tag · 9 篇
多模态检索
WISER:面向免训练零样本组合图像检索的更广搜索、更深思考与自适应融合
WISER: Wider Search, Deeper Thinking, and Adaptive Fusion for Training-Free Zero-Shot Composed Image Retrieval
提出免训练的多模态检索框架,通过并行生成编辑文本和编辑图像扩大候选池,并用验证器评估置信度触发自反思精炼,可复用于其他需要融合多模态查询的检索任务。
像专家一样观察:面向开放集细粒度视觉理解的知识增强智能体
Seeing as Experts Do: A Knowledge-Augmented Agent for Open-Set Fine-Grained Visual Understanding
将开放词表检测与网络级检索结合生成类别假设,并通过全局到局部的聚焦机制将检索到的文本知识转化为空间定位证据,为视觉语言模型提供可验证的细粒度推理依据。
RobustVisRAG:视觉退化下因果感知的基于视觉的检索增强生成
RobustVisRAG: Causality-Aware Vision-Based Retrieval-Augmented Generation under Visual Degradations
提出因果引导的双路径框架,通过非因果路径捕获退化信号并引导因果路径学习纯化语义,为视觉检索增强生成在退化条件下的鲁棒性提供了可复用的解耦思路;同时构建的 Distortion-VisRAG 数据集可用于评测多模态检索与生成模型在真实退化下的表现。
ReMatch:通过匹配提升多模态检索中的表征
ReMatch: Boosting Representation through Matching for Multimodal Retrieval
将MLLM的生成能力用于多模态检索,通过生成式匹配阶段提供实例级判别监督,增强对比学习在困难负样本上的梯度;同时使用多个可学习token生成细粒度正交嵌入,为视觉-语言检索提供可复用的训练配方。
RMIR:一个面向推理密集型多模态图像检索的基准数据集
RMIR: A Benchmark Dataset for Reasoning-Intensive Multimodal Image Retrieval
为视觉研究者提供了一个需要复杂推理(功能、时序、因果)的多模态图像检索基准,并揭示了生成式嵌入模型在推理感知训练下的优势,可启发设计更强的推理型视觉-语言检索模型。
MR-RAG:面向医学视觉问答的多模态相关性感知检索增强生成
MR-RAG: Multimodal Relevance-Aware Retrieval-Augmented Generation for Medical Visual Question Answering
对做医学 VQA 或多模态 RAG 的研究者,这篇给出了一个可复用的双阶段思路:检索端用模态内与跨模态信号联合打分做文档对齐,生成端按融合后的相关性重加权注意力路径,可直接迁移到其他需要外部知识注入的视觉问答系统。
Evo-Retriever:面向多模态文档检索的视角—路径协同 LLM 引导课程演化
Evo-Retriever: LLM-Guided Curriculum Evolution with Viewpoint-Pathway Collaboration for Multimodal Document Retrieval
面向视觉文档检索,提出多视角图像对齐与双向对比学习构造难负例,并用 LLM 元控制器按模型状态动态调整训练课程;做跨模态检索或图文匹配时,可借鉴其难例挖掘与课程调度思路来缓解跨模态嵌入混淆。
高效高保真的全模态检索
Efficient and High-Fidelity Omni Modality Retrieval
提出基于注意力的重采样模块将多模态编码器的长词元序列压缩为固定长度表示,并用 Attention Sliced Wasserstein Pooling 保留细粒度信息,可直接用于视觉-语言检索中降低 LLM 输入开销并提升嵌入保真度。
CodeMMR:统一自然语言、代码与图像的统一检索
CodeMMR: Bridging Natural Language, Code, and Image for Unified Retrieval
把图像(网页界面、数据可视化、SVG、示意图、UML)与自然语言、代码嵌入同一语义空间做跨模态检索,其指令驱动的多模态对齐与统一嵌入思路可直接迁移到视觉侧的图文检索、视觉定位与多模态 RAG 场景。