Tag · 32 篇
检索增强生成
视觉个性化图灵测试
Visual Personalization Turing Test
提出以「感知不可区分」而非身份复刻来评判个性化生成，并给出仅用文本的 VPTT Score 作为可扩展代理指标；做个性化生成（如 DreamBooth 类）或需要自动评测生成内容「像不像某人所为」的视觉研究者，可直接复用其基准与评分协议替代昂贵的人工评测。
UniRain：基于 RAG 数据集蒸馏与多目标重加权优化的统一图像去雨
UniRain: Unified Image Deraining with RAG-based Dataset Distillation and Multi-objective Reweighted Optimization
把 RAG 检索与数据集蒸馏结合，从多个公开去雨数据集中筛选高质量样本做混合训练，并用非对称 MoE 加多目标重加权优化统一处理雨条、雨滴、白天与夜间退化，可作为统一复原模型的数据筛选与专家路由范式复用。
TrajRAG：面向零样本目标导航的几何-语义经验检索
TrajRAG: Retrieving Geometric-Semantic Experience for Zero-Shot Object Navigation
把导航过程中产生的历史观测压缩成拓扑-极坐标轨迹表示并做分层检索，为大模型推理提供可复用的几何-语义先验；做具身导航或VLA的读者可以直接借用这套「经验库+粗到细检索」的框架来替代纯常识先验。
面向高约束人体动作生成的检索引导扩散噪声优化
Towards Highly-Constrained Human Motion Generation with Retrieval-Guided Diffusion Noise Optimization
把「检索到的参考动作噪声」作为扩散噪声优化的初始化，并用奖励引导掩码与随机噪声混合，这一免训练思路可直接迁移到其他受强约束的生成任务（如布局约束的图像/视频生成、轨迹约束的动画）。
驾驶前先思考：受世界模型启发的多模态视觉定位
Think Before You Drive: World Model-Inspired Multimodal Grounding
将世界模型的未来潜状态推演引入视觉定位，用命令感知的潜变量序列为歧义指令提供前瞻线索，这一「先推演后定位」的范式可迁移到任何需要空间关系推理的视觉-语言任务。
StreamRAG：以检索增强提升实时视频理解
StreamRAG: Enhancing Real-Time Video Understanding with Retrieval Augmentation
把 RAG 从离线视频搬到流式视频，其 Stream Event Segmentation 的实时边界检测和 Token-Reusing Accelerator 的跨帧计算复用，可直接用于任何需要低延迟视频字幕/检索的视觉语言流水线。
看见场景才重要：用场景感知长视频基准揭示视频理解模型中的遗忘
Seeing the Scene Matters: Revealing Forgetting in Video Understanding Models with a Scene-Aware Long-Video Benchmark
SceneBench 把长视频按「视觉与语义上下文一致的场景」切分，并给出场景级问答协议，可直接用于诊断 VLM 的长程遗忘；Scene-RAG 的动态场景记忆检索思路也可迁移到任何需要跨片段取证的视频问答或视频对话系统。
破解证据稀疏：面向长文档理解的智能体上下文工程
Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding
对做多模态长文档问答的研究者，这篇提供了一个可复用的「检索后二次精炼」范式：用多个智能体在检索到的页面里筛出表格、图表等显著视觉证据，再蒸馏成证据密集的多模态上下文喂给 VLM，可直接迁移到多页文档 VQA 与图表理解流程中。
通过投毒知识库对检索增强扩散模型进行红队测试
Red-teaming Retrieval-Augmented Diffusion Models via Poisoning Knowledge Bases
针对检索增强扩散模型的黑盒后门攻击方法，通过知识库投毒和多目标优化学习触发器，可启发视觉研究者评估检索增强生成系统的安全性，并设计防御机制。
ReAG：面向知识型视觉问答的推理增强生成
ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering
对做视觉语言模型的人，这篇给出了一个可复用的多模态 RAG 流程：粗粒度+细粒度两阶段检索、critic 模型过滤噪声段落、再用强化学习让模型对检索内容做推理，可直接迁移到需要外部知识的 VQA 或 captioning 场景。
RAID：检索增强的异常检测
RAID: Retrieval-Augmented Anomaly Detection
把 RAG 的「检索样本直接参与生成」思路搬到异常图生成上：用分层向量库检索类/语义/实例级正常模板，再用匹配代价体与引导式 MoE 抑制匹配噪声，可作为工业缺陷检测与少样本异常定位的可复用范式。
RAGTrack：基于检索增强生成的语言感知RGBT跟踪
RAGTrack: Language-aware RGBT Tracking with Retrieval-Augmented Generation
将检索增强生成（RAG）引入RGB-T跟踪，利用MLLM自动生成文本描述并构建动态知识库，通过时序语言推理增强目标建模，为多模态跟踪中的外观变化和背景干扰问题提供了可复用的语言引导思路。
RAG-TP：基于检索增强生成的车辆轨迹预测通用框架
RAG-TP: A General Framework for Vehicle Trajectory Prediction via Retrieval-Augmented Generation
把轨迹预测从依赖在线感知先验改为从结构化知识库检索历史经验，并用检索驱动的 MoE 加交叉注意力做动态融合；对做自动驾驶预测、以及想把 RAG 思路引入视觉时序任务的人，这是一个可复用的「离线知识库 + 推理时检索」范式。
R4：面向视觉语言模型在 4D 时空空间中的检索增强推理
R4: Retrieval-Augmented Reasoning for Vision-Language Models in 4D Spatio-Temporal Space
把物体级语义描述锚定到度量空间与时间轴上构建可跨智能体共享的 4D 知识库，并用语义/空间/时序三路键做检索，为 VLM 在具身场景中提供免训练的长时记忆与时空推理能力，可直接迁移到导航与情景问答。
R4-CGQA：基于检索的视觉语言模型用于计算机图形图像质量评估
R4-CGQA: Retrieval-based Vision Language Models for Computer Graphics Image Quality Assessment
提出双流检索增强生成框架，利用视觉相似图像的质量描述提升VLM对细粒度图像质量的判断能力，可迁移至其他需要细粒度感知的视觉语言任务。
M^3KG-RAG：多跳多模态知识图谱增强的检索增强生成
M^3KG-RAG: Multi-hop Multimodal Knowledge Graph-enhanced Retrieval-Augmented Generation
对做多模态大模型视觉问答与视觉定位的研究者，这篇提供了可复用的思路：用多智能体流水线自动构建多跳多模态知识图谱，并用 GRASP 做实体视觉定位与相关性评估后剪枝冗余上下文，可直接迁移到视频/音视频问答的检索增强生成流程中，缓解仅靠嵌入相似度检索带来的离题噪声。
MUSE：利用精确且多样的语义进行少样本全切片图像分类
MUSE: Harnessing Precise and Diverse Semantics for Few-Shot Whole Slide Image Classification
对做视觉研究的人，这篇论文提供了一个可复用的思路：把 LLM 生成的类级文本先验，通过基于 MoE 的样本级视觉-语义交互细化为逐样本先验，再用检索增强的多视图文本做随机语义监督，从而在少样本下缓解过拟合并提升视觉-语义对齐的精度与多样性；该「先细化再增广」的语义监督流程可迁移到其他少样本视觉-语言任务。
MRD：面向高分辨率图像理解的多分辨率检索-检测融合
MRD: Multi-resolution Retrieval-Detection Fusion for High-Resolution Image Understanding
把开放词表检测器当作定位先验，与多分辨率裁剪检索做免训练融合，为 MLLM 处理高分辨率图像提供了一条可直接套用的「检索+检测」双路增强管线，可迁移到任意现成 MLLM 上。
MR-RAG：面向医学视觉问答的多模态相关性感知检索增强生成
MR-RAG: Multimodal Relevance-Aware Retrieval-Augmented Generation for Medical Visual Question Answering
对做医学 VQA 或多模态 RAG 的研究者，这篇给出了一个可复用的双阶段思路：检索端用模态内与跨模态信号联合打分做文档对齐，生成端按融合后的相关性重加权注意力路径，可直接迁移到其他需要外部知识注入的视觉问答系统。
M4-RAG：大规模多语言多文化多模态检索增强生成基准
M4-RAG: A Massive-Scale Multilingual Multi-Cultural Multimodal RAG
该基准为视觉语言模型提供了跨42种语言、56种方言和189个国家的8万余个文化多样图像-问题对，并构建了可控检索环境，可用于系统评估多语言多模态RAG的检索效果与模型规模的关系，揭示大模型在RAG下性能反而下降的问题。
M3DocDep：基于大型视觉语言模型的多模态、多页、多文档依赖分块
M3DocDep: Multi-modal, Multi-page, Multi-document Dependency Chunking with Large Vision-Language Models
对做文档视觉理解的人，这篇给出了一个可复用的思路：把 OCR/版面解析结果统一到文档级坐标系，用边界感知的 SoftROI 做多模态块嵌入，再用 biaffine 打分重建跨页文档树——这套「视觉结构线索 + 全局依赖」的建模方式可直接迁移到多页文档检索、版面层级解析等任务。
KnowVal：知识增强与价值引导的自动驾驶系统
KnowVal: A Knowledge-Augmented and Value-Guided Autonomous Driving System
将开放世界感知与交通法规/防御性驾驶知识图谱通过 LLM 检索结合，并用人类偏好训练的价值模型对候选轨迹做可解释打分，可作为视觉端到端规划器中「规则约束+价值对齐」的即插即用评估模块。
ImageRAGTurbo：面向一步文本到图像生成的检索增强扩散模型
ImageRAGTurbo: Towards One-step Text-to-Image Generation with Retrieval-Augmented Diffusion Models
提出在UNet去噪器的潜空间（H-space）中通过交叉注意力融合检索到的文本-图像对，以极低微调成本提升少步/单步扩散模型的提示词保真度，为快速文本到图像生成提供可复用的检索增强适配器方案。
HOG-Layout：基于视觉语言模型的分层三维场景生成、优化与编辑
HOG-Layout: Hierarchical 3D Scene Generation, Optimization and Editing via Vision-Language Models
用 LLM/VLM 加 RAG 从文本生成分层 3D 场景布局，并配物理一致性优化模块与分层表示实现实时编辑，可作为具身智能与 VR 场景合成的可复用管线。
图到帧 RAG：面向免训练与可审计视频推理的视觉空间知识融合
Graph-to-Frame RAG: Visual-Space Knowledge Fusion for Training-Free and Auditable Video Reasoning
把外部知识渲染成单张「推理帧」拼进视频，让 LMM 在统一视觉域内做联合推理，为视觉问答/视频推理提供了一种免训练、可审计的知识注入接口，可直接替换文本或多样本检索增强的拼接方式。
锻造动态记忆：面向通用医学基础模型的检索引导持续学习
Forging a Dynamic Memory: Retrieval-Guided Continual Learning for Generalist Medical Foundation Models
将检索增强生成（RAG）与持续学习结合，通过动态知识蒸馏缓解多模态医学VLM在领域迁移中的灾难性遗忘，为视觉-语言模型的持续学习提供可复用框架。
跟随显著性：面向检索增强密集视频描述的有监督显著性
Follow the Saliency: Supervised Saliency for Retrieval-augmented Dense Video Captioning
把 DVC 真值直接转成二值标签训练帧级显著性/高光检测器，再用同一显著性分数同时驱动检索分段与解码器 Saliency Prompt，为视频-语言检索增强生成提供了一个无需额外标注的统一时序信号。
EvoGraph-R1：面向智能体检索的自演化多模态知识超图
EvoGraph-R1: Self-Evolving Multimodal Knowledge Hypergraphs for Agentic Retrieval
把多模态知识图谱当作可被智能体动作（检索/扩展/编辑/终止）动态改写的环境，用 MDP 闭环驱动超图演化，为视觉问答中的多跳跨模态检索与可追溯推理提供了可复用的框架。
CodeMMR：统一自然语言、代码与图像的统一检索
CodeMMR: Bridging Natural Language, Code, and Image for Unified Retrieval
把图像（网页界面、数据可视化、SVG、示意图、UML）与自然语言、代码嵌入同一语义空间做跨模态检索，其指令驱动的多模态对齐与统一嵌入思路可直接迁移到视觉侧的图文检索、视觉定位与多模态 RAG 场景。
Captain Safari：具有位姿对齐3D记忆的世界引擎
Captain Safari: A World Engine with Pose-Aligned 3D Memory
提出位姿对齐的持久世界记忆与检索器，为长时程、6-DoF可控视频生成提供可复用机制；OpenSafari数据集与几何/运动学验证流程可用于评估相机轨迹跟随与3D一致性。
CC-VQA：面向知识型视觉问答中知识冲突缓解的冲突与相关性感知方法
CC-VQA: Conflict- and Correlation-Aware Method for Mitigating Knowledge Conflict in Knowledge-Based Visual Question Answering
对做知识型 VQA 的人，这篇给出了一个免训练、可直接插到现有 VLM 推理流程里的方案：先用视觉语义做内外知识冲突判定，再用相关性加权的位置编码压缩与自适应解码抑制低相关检索段落，可作为检索增强 VLM 推理阶段的通用后处理模块复用。
ADSeeker：面向工业异常检测与推理的知识驱动推理框架
ADSeeker: A Knowledge-Grounded Reasoning Framework for Industry Anomaly Detection and Reasoning
把 MLLM 与图像-文档知识库的检索增强生成（Q2K RAG）结合，用于零样本工业异常检测与推理；其分层稀疏提示词与类型级特征提取思路可迁移到其他需要细粒度缺陷/异常描述的视觉-语言任务。