Tag · 9 篇

幻觉抑制

分布视觉语言模型83D 视觉与重建1

VES-RFT: Rewarding Visual Evidence Sensitivity to Mitigate Hallucinations in Large Vision-Language Models

把「有图/无图两次前向的熵差」定义成可计算的视觉证据敏感度奖励，配合自动核验物体正确性的可验证奖励，用无 critic 的 GRPO 做训练时对齐；做 VLM 幻觉或视觉 grounding 的工作可以直接复用这套双奖励与并行双前向的训练范式，且推理仍是单次前向、无额外开销。

Tell Model Where to Look: Mitigating Hallucinations in MLLMs by Vision-Guided Attention

VGA 利用视觉词元的语义内容构造精确视觉定位，并在推理时用该定位重定向注意力，为视觉研究者提供了一种免训练、兼容 FlashAttention 的注意力干预手段，可直接用于缓解 MLLM 的视觉幻觉与提升区域级视觉理解。

Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance

ResDec 是一种免训练的解码策略，利用 LVLM 内部词元 logits 的演化历史来校正语言先验带来的偏置；做视觉问答或多模态生成时可直接套用到现有模型的解码阶段，无需重训即可提升视觉 grounding、减少物体幻觉。

One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination

对做多模态大模型幻觉的研究者，这篇给出了一个免训练、只在潜空间操作的视觉token双向用法：用增强图像的token强化视觉表征，用剪枝后的token构造潜空间负样本校正语言先验偏置，可直接插到LLaVA类模型的推理流程里，代价仅1.06倍延迟。

MoD-DPO: Towards Mitigating Cross-modal Hallucinations in Omni LLMs using Modality Decoupled Preference Optimization

给做多模态大模型（尤其是视听/视觉-语言模型）的研究者提供了一种可复用的偏好优化正则化思路：通过对无关模态加扰动、对相关模态加敏感度约束，显式解耦模态间虚假关联，可直接迁移到视觉-语言模型的视觉定位与幻觉抑制训练中。

Fighting Hallucinations with Counterfactuals: Diffusion-Guided Perturbations for LVLM Hallucination Suppression

用扩散模型编辑图像构造反事实样本，提取视觉诱发幻觉的低秩表征子空间，并在推理时把中间隐状态投影出该子空间——这套「反事实扰动+子空间投影」的免训练流程可直接迁移到其他多模态模型的忠实性修正与表征编辑研究。

Dehallu3D: Hallucination-Mitigated 3D Generation from a Single Image via Cyclic View Consistency Refinement

针对单图生成3D网格中的结构幻觉问题，提出即插即用的循环视图一致性优化模块，通过相邻一致性约束和自适应平滑约束在稠密中间视角上平衡几何连续性与细节保留，并引入离群风险度量（ORM）指标量化几何保真度，为3D生成质量评估提供新思路。

CURE: Curriculum-guided Multi-task Training for Reliable Anatomy Grounded Report Generation

把错误感知的课程学习用在多模态指令微调上，按模型当前表现动态调整短语定位与报告生成样本的采样权重，为视觉-语言模型提升空间对齐、抑制幻觉提供了一个无需额外数据的可复用训练策略。

Breaking the Illusion: When Positive Meets Negative in Multimodal Decoding

PND 是一种无需训练的推理阶段解码干预：用多层注意力放大显著视觉证据作为正路径，同时削弱核心物体特征构造反事实负路径，逐步对比两者输出以压制语言先验主导的幻觉。做 VLM 幻觉缓解或解码策略改进的工作可直接复用该双路径对比框架，且它揭示了视觉特征在注意力中被系统性低估这一可进一步探查的现象。