Tag · 15 篇
视觉词元剪枝
ZOO-Prune：视觉语言模型中基于零阶梯度估计的免训练词元剪枝
ZOO-Prune: Training-Free Token Pruning via Zeroth-Order Gradient Estimation in Vision-Language Models
用零阶扰动在投影层估计每个视觉词元的敏感度，无需反向传播即可决定剪枝对象，可直接移植到任意 VLM 的视觉编码器—投影层之间做免训练加速。
VLM-Pruner：在高效 VLM 离心式词元剪枝范式中为空间稀疏性引入缓冲机制
VLM-Pruner: Buffering for Spatial Sparsity in an Efficient VLM Centrifugal Token Pruning Paradigm
提出免训练的视觉词元剪枝范式：用离心式由近及远的选择配合空间稀疏缓冲准则，避免保留词元过度稀疏而漏掉目标区域，可直接套用到任意 VLM 的视觉编码器输出上做推理加速。
按需视觉：以稀疏、动态选择的视觉-语言交互提升 VLLM 效率
VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions
对做多模态视觉研究的人，这篇论文给出了一条不丢弃视觉词元、而是稀疏化图文交互的加速路径：用少量交叉注意力层提供全局视觉上下文，再用动态选择的自注意力层按样本复杂度精炼高分辨率视觉表示，可直接迁移到任何 LVLM 的推理加速与高分辨率细粒度理解场景。
TransPrune：面向高效大型视觉语言模型的词元变化剪枝
TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model
对做 LVLM 视觉侧推理加速的人，可直接复用「词元表征在模块间传播时的幅值与方向变化」作为重要性信号，替代有位置偏置的注意力/相似度准则，且免训练即可插到 LLaVA、Qwen2.5-VL 等架构中。
看见关键之处：一种免训练的自引导多模态细节感知与推理框架
Seeing What Matters: A Training-Free Self-Guided Framework for Multimodal Detail Perception and Reasoning
提出免训练的双分支关键区域定位（梯度语义相关图 + 视觉词元独特性）与渐进式视觉词元剪枝，可直接插入现成 MLLM 的推理流程，用于提升高分辨率细节感知并降低计算量，对做 VLM 细粒度理解与高效推理的人可复用。
SCoRe：面向视觉语言模型视觉词元剪枝的显著性-覆盖度约减
SCoRe: Salience-Coverage Reduction for Vision Token Pruning in Vision-Language Models
把视觉编码器内的词元剪枝从解耦启发式规则重构为加权 k-Center 覆盖优化，用统一的代表性分数贪心选点，可直接替换 LLaVA 类 LVLM 视觉端的 token 压缩模块，在 94.4% 剪枝率下保住 95% 性能。
QuietPrune：面向视觉语言模型的查询引导早期词元剪枝
QuietPrune: Query-Guided Early Token Pruning for Vision-Language Models
把剪枝时机提前到 ViT 内部，并用投影器逆变换构造的 [Q-CLS] 词元为视觉词元提供文本相关性打分，这一「查询引导的早期剪枝」思路可直接迁移到任何 ViT-LLM 架构的 VLM 推理加速中，且 2x2 分组剪枝与主流视觉词元合并操作兼容。
Prune2Drive：面向自动驾驶视觉语言模型加速的即插即用框架
Prune2Drive: A Plug-and-Play Framework for Accelerating Vision-Language Models in Autonomous Driving
面向多视图 VLM 的即插即用视觉词元剪枝：用多样性感知选择保证跨视图语义/空间覆盖，并用视图自适应控制器按相机重要性学习剪枝比例，且不依赖注意力图、无需重训练，可直接套到自动驾驶多相机 VLM 的预填充阶段省算力。
ParallelVLM：基于视觉对齐感知并行推测解码的无损视频大模型加速
ParallelVLM: Lossless Video-LLM Acceleration with Visual Alignment Aware Parallel Speculative Decoding
提出免训练的并行推测解码框架，通过无偏验证器引导剪枝对齐草稿与目标模型，将视频词元剪枝与推测解码结合，为视频大模型的长视频推理提供可复用的加速方案。
一层的垃圾是另一层的宝藏：LVLM 中的自适应逐层视觉词元选择
One Layer's Trash is Another Layer's Treasure: Adaptive Layer-wise Visual Token Selection in LVLMs
对做多模态大模型视觉侧推理加速的人，这篇给出了「按层动态选择视觉词元 + 被跳过词元在后续层重新汇入」的免训练方案，并用重要性一致性约束的低秩近似来逼近全注意力，可直接替换现有静态剪枝模块以缓解早期层信息丢失。
MeToM：元数据引导的词元合并实现高效视频大语言模型
MeToM: Metadata-Guided Token Merging for Efficient Video LLMs
对做视频多模态推理加速的人，这篇给出了一个免训练、可直接插到现有 VLLM 上的词元预算分配思路：用编解码器元数据（残差、GoP 包大小）估计空域/时域信息密度，在 tokenization、跨帧分配、LLM 内部三层分别做合并，可直接复用于任何多帧视觉编码器的 prefill 降本。
Hi-Lo Prune：在剪枝之前先看清将失去什么的分层词元选择方法
Hi-Lo Prune: Look at What You'll Lose before Pruning with Hierarchical Token Selection
对做多模态大模型视觉侧推理加速的人，这篇给出了一个可直接复用的三段式流程：先用由粗到细的分层选择挑出冗余词元与待剪候选，再在 LLM 前几层用注意力把候选词元的信息显式迁移到保留词元上，最后在指定层一次性移除，从而支持激进的高比例早期剪枝而无需微调。
HAWK：多模态模型中头重要性感知的视觉词元剪枝
HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models
对做多模态视觉理解的人，这篇给出了一个免训练、即插即用的视觉词元剪枝方案：用注意力头重要性权重加权文本引导的注意力来打分并保留任务相关词元，可直接套到任意 MLLM 的视觉编码器到 LLM 的投影环节上，在剪掉 80% 视觉词元时仍保住 96% 精度。
几何引导的3D视觉词元剪枝用于视频语言模型
Geometry-Guided 3D Visual Token Pruning for Video-Language Models
针对3D空间视频中视觉词元冗余问题，提出基于几何感知全局注意力和两阶段体素剪枝的方法，可复用于视频语言模型的高效推理与3D场景理解。
FocusUI：通过位置保持的视觉词元选择实现高效 UI 视觉定位
FocusUI: Efficient UI Grounding via Position-Preserving Visual Token Selection
针对高分辨率截图词元冗余问题，提出指令条件化 patch 级监督与 PosPad 位置连续性保持的视觉词元选择方案，可直接迁移到任意高分辨率 VLM 的视觉编码压缩与定位任务中。