Tag · 3 篇

多模态幻觉

Reallocating Attention Across Layers to Reduce Multimodal Hallucination

提出一种免训练、轻量级的注意力重分配插件，通过识别感知与推理功能头并类条件缩放其层间贡献，可直接用于缓解多模态大模型在视觉问答等任务中的幻觉，提升视觉忠实度。

Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection

用一阶泰勒梯度估计每个视觉 token 与文本 token 对当前输出的贡献，从而在解码时抑制虚假视觉特征并重新平衡跨模态贡献；这是一种无需训练、无需辅助模型的推理期去幻觉手段，可直接套用到任意 MLLM 的解码环节。

Cross-Modal Attention Calibration for LVLM Hallucination Mitigation

提供了一种免训练的推理期干预手段：通过掩蔽跨模态注意力权重较大的 value 向量构造失真对比分支，并对图像 token 做位置校准，可直接插入现有 LVLM 的解码流程以抑制幻觉，无需重训练。