Tag · 2 篇
大视觉语言模型
分布 高效模型与推理加速1视觉语言模型1
01 02
变化感知的视觉词元丢弃：加速大型视觉语言模型
Variation-aware Vision Token Dropping for Faster Large Vision-Language Models
对做 LVLM 推理加速的人，这篇给出了一个可直接插入 LLM 内部的视觉词元丢弃准则：按词元在层间的变化幅度（variation）而非注意力位置来排序剪枝，绕开了位置偏置与 FlashAttention 等高效算子的兼容问题，可复用到任意 LVLM 的 prefill 阶段。
AdaIAT：自适应增强对生成文本的注意力以缓解 LVLM 中的幻觉
AdaIAT: Adaptively Increasing Attention to Generated Text to Alleviate Hallucinations in LVLM
提供了一种无需训练的推理时注意力干预手段：在解码时放大对已生成文本 token 的注意力权重，并按层阈值与注意力头粒度自适应调节，可直接插入 LLaVA 等 LVLM 的解码流程以降低幻觉且不引入重复描述。