Tag · 9 篇
对比解码
通过自批判推理框架扩展视觉语言模型的测试时鲁棒性
Scaling Test-Time Robustness of Vision-Language Models via Self-Critical Inference Framework
提出自批判推理框架，通过多轮文本与视觉扰动的反事实推理提升LVLM鲁棒性，并引入动态鲁棒性基准DRBench，为视觉语言模型的可靠性评估与测试时增强提供可复用方法。
SEASON：通过自诊断对比解码缓解视频大语言模型中的时序幻觉
SEASON: Mitigating Temporal Hallucination in Video Large Language Models via Self-Diagnostic Contrastive Decoding
提出免训练的对比解码框架，逐 token 诊断幻觉倾向并构造时序/空间负样本做自适应对比，可直接套用到任意 VideoLLM 的推理阶段以抑制时序不一致描述，无需重训。
重新审视 LVLM 中的视觉损坏：从形状-纹理视角看模型失效
Revisiting Visual Corruptions in LVLMs: A Shape-Texture Perspective on Model Failures
提出免训练的对比解码框架 ST-CD，通过构造形状与纹理互补的对比视图并在推理时自适应融合来纠正偏置，可直接迁移到任何 LVLM 的推理阶段以提升对视觉损坏的鲁棒性，无需微调。
MAD：面向多模态大语言模型跨模态幻觉缓解的模态自适应解码
MAD: Modality-Adaptive Decoding for Mitigating Cross-Modal Hallucinations in Multimodal Large Language Models
对做多模态大模型推理的人来说，这是一种免训练的解码期干预手段：用模型自评估得到的模态相关性概率去加权各模态的对比解码分支，可直接套用到任意音视频/视觉语言模型的推理流程中抑制跨模态幻觉，无需重训。
首词元 Logit 提升：缓解大型视觉语言模型中对象幻觉的视觉定位方法
First Logit Boosting: Visual Grounding Method to Mitigate Object Hallucination in Large Vision-Language Models
FLB 是一种免训练的解码策略，通过复用首个生成词元的 logit 来抑制 LVLM 中的对象幻觉，可即插即用地应用于任何自回归视觉语言模型，且推理开销可忽略。
先构想、再关注、后回应：大型视觉语言模型中的反事实幻觉缓解
Envision, Attend, Then Respond: Counterfactual Hallucination Mitigation in Large Vision-Language Models
提出一种免训练框架，利用扩散先验生成视觉印象并定位反事实元素，再通过对比解码抑制幻觉，可复用于提升LVLM在视觉证据与常识冲突时的鲁棒性。
面向 LVLM 幻觉缓解的跨模态注意力校准
Cross-Modal Attention Calibration for LVLM Hallucination Mitigation
提供了一种免训练的推理期干预手段：通过掩蔽跨模态注意力权重较大的 value 向量构造失真对比分支，并对图像 token 做位置校准，可直接插入现有 LVLM 的解码流程以抑制幻觉，无需重训练。
CausalLens：敏感度引导的多头因果干预用于大型视觉语言模型幻觉缓解
CausalLens: Sensitivity-Guided Multi-Head Causal Intervention for Hallucination Mitigation in Large Vision-Language Models
提出一种免训练、单次前向的推理时干预：按视觉、文本、系统提示词三条通路分解注意力头，用敏感度度量挑出视觉可靠的注意力头并调整其中层隐状态贡献，再以投影对齐校正稳定多头融合后的状态。做 LVLM 幻觉缓解或视觉 grounding 的研究者可直接复用这套注意力头级敏感度分析与隐状态校正流程，替代多遍/对比解码以降低延迟。
打破幻觉：多模态解码中正负路径的相遇
Breaking the Illusion: When Positive Meets Negative in Multimodal Decoding
PND 是一种无需训练的推理阶段解码干预：用多层注意力放大显著视觉证据作为正路径，同时削弱核心物体特征构造反事实负路径，逐步对比两者输出以压制语言先验主导的幻觉。做 VLM 幻觉缓解或解码策略改进的工作可直接复用该双路径对比框架，且它揭示了视觉特征在注意力中被系统性低估这一可进一步探查的现象。