Tag · 2 篇
视觉语言模型加速
01 02
SCoRe：面向视觉语言模型视觉词元剪枝的显著性-覆盖度约减
SCoRe: Salience-Coverage Reduction for Vision Token Pruning in Vision-Language Models
把视觉编码器内的词元剪枝从解耦启发式规则重构为加权 k-Center 覆盖优化，用统一的代表性分数贪心选点，可直接替换 LLaVA 类 LVLM 视觉端的 token 压缩模块，在 94.4% 剪枝率下保住 95% 性能。
ApET：面向高效视觉语言模型的近似误差引导词元压缩
ApET: Approximation-Error Guided Token Compression for Efficient VLMs
用线性近似重构误差衡量视觉词元信息量并据此剪枝，摆脱对 [CLS] 注意力或文本-视觉交叉注意力的依赖，从而兼容 FlashAttention，可直接用于任意 VLM 的视觉编码器输出端做免训练或轻量加速。