KV-Cache

KVSmooth：通过键值平滑缓解多模态大语言模型中的幻觉

KVSmooth: Mitigating Hallucination in Multi-modal Large Language Models through Key-Value Smoothing

提出一种免训练、即插即用的推理时方法，通过对 KV-Cache 中的键和值施加指数移动平均（EMA）平滑，并利用注意力熵动态调节平滑强度，来缓解多模态大语言模型在解码过程中的语义漂移和幻觉。该方法可直接集成到现有 MLLM 的推理流程中，无需重新训练或修改模型结构，为视觉-语言生成任务提供了一种高效的后处理手段。