潜空间负样本

一个Token，两种命运：通过视觉Token操控对抗多模态大模型幻觉的统一框架

One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination

对做多模态大模型幻觉的研究者，这篇给出了一个免训练、只在潜空间操作的视觉token双向用法：用增强图像的token强化视觉表征，用剪枝后的token构造潜空间负样本校正语言先验偏置，可直接插到LLaVA类模型的推理流程里，代价仅1.06倍延迟。