跨模态幻觉

MAD：面向多模态大语言模型跨模态幻觉缓解的模态自适应解码

MAD: Modality-Adaptive Decoding for Mitigating Cross-Modal Hallucinations in Multimodal Large Language Models

对做多模态大模型推理的人来说，这是一种免训练的解码期干预手段：用模型自评估得到的模态相关性概率去加权各模态的对比解码分支，可直接套用到任意音视频/视觉语言模型的推理流程中抑制跨模态幻觉，无需重训。