对比注意力

视觉在哪里与语言相遇？通过对比注意力理解并改进 MLLM 中的视觉融合

Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention

提供了一种免训练的对比注意力机制，通过建模早期融合层与最终层之间的注意力变换来突出有意义的注意力转移，可直接插入任意 MLLM 的推理过程以提升多模态推理，无需微调；其逐层掩码分析范式也可用于诊断其他视觉-语言模型的融合位置。