Tag · 13 篇
幻觉缓解
理解并缓解多模态思维链模型中的幻觉
Understanding and Mitigating Hallucinations in Multimodal Chain-of-Thought Models
针对多模态思维链模型在复杂视觉推理中的幻觉问题，提出定位发散思维步骤并在解码阶段干预的方法，可直接用于提升视觉推理链的可靠性，且能与其他幻觉缓解策略叠加。
面向多模态大语言模型的不确定性感知探索式直接偏好优化
Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models
把词元级认知不确定性作为探索强度信号，替代模型自评的视觉敏感度来分配 DPO 训练权重，可直接迁移到任何需要细粒度视觉 grounding 监督的 MLLM 偏好对齐流程中。
在不确定性中思考：利用潜变量熵感知解码缓解多模态大模型中的幻觉
Thinking in Uncertainty: Mitigating Hallucinations in MLRMs with Latent Entropy-Aware Decoding
提出一种基于熵感知的解码策略，通过概率加权连续嵌入和视觉锚框注入来缓解多模态大模型在视觉问答中的幻觉，可作为一种即插即用的推理时增强手段用于视觉语言模型。
SEASON：通过自诊断对比解码缓解视频大语言模型中的时序幻觉
SEASON: Mitigating Temporal Hallucination in Video Large Language Models via Self-Diagnostic Contrastive Decoding
提出免训练的对比解码框架，逐 token 诊断幻觉倾向并构造时序/空间负样本做自适应对比，可直接套用到任意 VideoLLM 的推理阶段以抑制时序不一致描述，无需重训。
面向大型视觉语言模型幻觉缓解的预填充阶段干预
Prefill-Time Intervention for Mitigating Hallucination in Large Vision-Language Models
在 prefill 阶段一次性修改 KV cache 来抑制 LVLM 幻觉，且对 key/value 分别施加视觉与文本方向，可与任意解码阶段方法正交叠加，为视觉语言模型的推理期干预提供了新的可复用切入点。
先定位后稀疏化：归因引导的稀疏策略用于视觉幻觉缓解
Locate-then-Sparsify: Attribution Guided Sparse Strategy for Visual Hallucination Mitigation
提出基于因果干预的逐层归因方法，量化各层与幻觉的相关性，并据此稀疏化特征引导强度；该思路可迁移到其他需要定位关键层或模块的视觉-语言任务中，如视觉定位、图像描述生成中的错误分析。
KVSmooth：通过键值平滑缓解多模态大语言模型中的幻觉
KVSmooth: Mitigating Hallucination in Multi-modal Large Language Models through Key-Value Smoothing
提出一种免训练、即插即用的推理时方法，通过对 KV-Cache 中的键和值施加指数移动平均（EMA）平滑，并利用注意力熵动态调节平滑强度，来缓解多模态大语言模型在解码过程中的语义漂移和幻觉。该方法可直接集成到现有 MLLM 的推理流程中，无需重新训练或修改模型结构，为视觉-语言生成任务提供了一种高效的后处理手段。
HulluEdit：单次前向的证据一致子空间编辑用于缓解大型视觉语言模型中的幻觉
HulluEdit: Single-Pass Evidence-Consistent Subspace Editing for Mitigating Hallucinations in Large Vision-Language Models
提出一种无需参考模型、单次前向的正交子空间编辑方法，将隐藏状态分解为视觉证据、冲突先验和残差不确定性三个正交子空间，仅对先验子空间进行编辑以抑制幻觉，同时数学上保证视觉成分不受影响。该技术可直接用于提升现有LVLM的可靠性，且推理高效。
先构想、再关注、后回应：大型视觉语言模型中的反事实幻觉缓解
Envision, Attend, Then Respond: Counterfactual Hallucination Mitigation in Large Vision-Language Models
提出一种免训练框架，利用扩散先验生成视觉印象并定位反事实元素，再通过对比解码抑制幻觉，可复用于提升LVLM在视觉证据与常识冲突时的鲁棒性。
CausalLens：敏感度引导的多头因果干预用于大型视觉语言模型幻觉缓解
CausalLens: Sensitivity-Guided Multi-Head Causal Intervention for Hallucination Mitigation in Large Vision-Language Models
提出一种免训练、单次前向的推理时干预：按视觉、文本、系统提示词三条通路分解注意力头，用敏感度度量挑出视觉可靠的注意力头并调整其中层隐状态贡献，再以投影对齐校正稳定多头融合后的状态。做 LVLM 幻觉缓解或视觉 grounding 的研究者可直接复用这套注意力头级敏感度分析与隐状态校正流程，替代多遍/对比解码以降低延迟。
COPO：面向多模态大语言模型幻觉的因果导向策略优化
COPO: Causal-Oriented Policy Optimization for Hallucinations of MLLMs
COPO 通过因果完备性奖励和 token 级充分性/必要性约束，在 GRPO 框架内构造因果感知的优势函数，为视觉语言模型提供了一种可复用的幻觉缓解训练策略，可直接用于改进多模态对齐与生成忠实度。
AdaIAT：自适应增强对生成文本的注意力以缓解 LVLM 中的幻觉
AdaIAT: Adaptively Increasing Attention to Generated Text to Alleviate Hallucinations in LVLM
提供了一种无需训练的推理时注意力干预手段：在解码时放大对已生成文本 token 的注意力权重，并按层阈值与注意力头粒度自适应调节，可直接插入 LLaVA 等 LVLM 的解码流程以降低幻觉且不引入重复描述。
3D-VCD：通过视觉对比解码缓解3D-LLM具身智能体的幻觉
3D-VCD: Hallucination Mitigation in 3D-LLM Embodied Agents through Visual Contrastive Decoding
把2D视觉对比解码的思路迁移到3D具身场景：在推理时对3D场景图施加类别标签交换、坐标加噪等扰动来构造"负"上下文，从而无需训练即可抑制3D-LLM的幻觉，可直接用于3D视觉语言模型的可靠性提升。