Tag · 2 篇
自适应阈值
分布 高效模型与推理加速1视觉语言模型1
01 02
E$^2$-SCI：基于信用惯性的弹性边云推测解码
E$^2$-SCI: Elastic Edge-Cloud Speculative Decoding via Credit Inertia
推测解码的接受率在相邻词元窗口间存在时序一致性（credit inertia），可据此动态调整草稿词元的验证阈值，并以异步流水线隐藏延迟；做视觉语言模型或扩散模型少步采样加速时，可把这一「按历史表现弹性放宽/收紧验证」的思路迁移到多步生成或自回归解码的验证环节。
AdaIAT：自适应增强对生成文本的注意力以缓解 LVLM 中的幻觉
AdaIAT: Adaptively Increasing Attention to Generated Text to Alleviate Hallucinations in LVLM
提供了一种无需训练的推理时注意力干预手段：在解码时放大对已生成文本 token 的注意力权重，并按层阈值与注意力头粒度自适应调节，可直接插入 LLaVA 等 LVLM 的解码流程以降低幻觉且不引入重复描述。