Tag · 3 篇
注意力分析
01 02 03
视觉在哪里与语言相遇？通过对比注意力理解并改进 MLLM 中的视觉融合
Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention
提供了一种免训练的对比注意力机制，通过建模早期融合层与最终层之间的注意力变换来突出有意义的注意力转移，可直接插入任意 MLLM 的推理过程以提升多模态推理，无需微调；其逐层掩码分析范式也可用于诊断其他视觉-语言模型的融合位置。
同样的注意力，不同的真相：用 Logit Lens 审视视觉注意力以检测和缓解 LVLM 物体幻觉
Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination
提出用 Logit Lens 解码高注意力区域的视觉特征，以检测 LVLM 物体幻觉，并针对视觉不确定性和上下文先验两种机制分别设计免训练缓解策略（HARM 和 VEED），可直接用于提升多模态模型生成可靠性。
超越全局分数：以细粒度词元定位作为 LVLM 幻觉的鲁棒检测器
Beyond the Global Scores: Fine-Grained Token Grounding as a Robust Detector of LVLM Hallucinations
把「对象词元是否强定位到某个图像块」作为判据，用 patch 级注意力弥散度与语义对齐度两个统计特征做词元级幻觉检测，可作为一种无需额外训练、可解释的 VLM 输出校验插件，接入任意 LVLM 的解码过程。