Tag · 2 篇
视觉证据对齐
01 02
看得更少,看得更准:面向多模态推理的双向感知塑形
See Less, See Right: Bi-directional Perceptual Shaping For Multimodal Reasoning
BiPS 用「保留问题相关区域」与「抹除关键像素」两种掩码视图构造双向 KL 约束,可直接作为 VLM 微调时的训练正则项,迫使模型依赖细粒度视觉证据而非文本捷径,且不增加推理开销。
看见、说出、理清:面向 LVLM 视觉接地多模态推理的迭代式免训练框架
See It, Say It, Sorted: An Iterative Training-Free Framework for Visually-Grounded Multimodal Reasoning in LVLMs
提出一种免训练、即插即用的测试时逐步视觉证据监督机制:构建文本化视觉证据池,并用视觉决策模块按推理上下文动态补充证据,可直接套用到任意 LVLM 骨干上抑制多模态思维链中的视觉幻觉传播,无需 RL 微调。