知识密集型视觉问答

ReAG：面向知识型视觉问答的推理增强生成

ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering

对做视觉语言模型的人，这篇给出了一个可复用的多模态 RAG 流程：粗粒度+细粒度两阶段检索、critic 模型过滤噪声段落、再用强化学习让模型对检索内容做推理，可直接迁移到需要外部知识的 VQA 或 captioning 场景。