Tag · 2 篇
视觉-grounding
01 02
VES-RFT：以视觉证据敏感性为奖励缓解大型视觉语言模型中的幻觉
VES-RFT: Rewarding Visual Evidence Sensitivity to Mitigate Hallucinations in Large Vision-Language Models
把「有图/无图两次前向的熵差」定义成可计算的视觉证据敏感度奖励，配合自动核验物体正确性的可验证奖励，用无 critic 的 GRPO 做训练时对齐；做 VLM 幻觉或视觉 grounding 的工作可以直接复用这套双奖励与并行双前向的训练范式，且推理仍是单次前向、无额外开销。
残差解码：通过历史感知残差引导缓解大型视觉语言模型的幻觉
Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance
ResDec 是一种免训练的解码策略，利用 LVLM 内部词元 logits 的演化历史来校正语言先验带来的偏置；做视觉问答或多模态生成时可直接套用到现有模型的解码阶段，无需重训即可提升视觉 grounding、减少物体幻觉。