Tag · 10 篇
词元剪枝
当词元剪枝不如随机剪枝：理解视觉语言模型中的视觉词元信息
When Token Pruning is Worse than Random: Understanding Visual Token Information in VLLMs
为视觉语言模型中的视觉词元剪枝提供了理论依据：深层视觉词元信息消失，随机剪枝即可，且可增强现有方法（如DivPrune），在OCR等视觉密集任务中需保留更深层词元。
视觉词元究竟编码了什么？揭示多模态大语言模型中的稀疏性与冗余性
What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models
该论文揭示了多模态大语言模型中视觉词元的语义稀疏性（仅约60%的alive词元携带图像信息），并证明中层注入比初始嵌入更有效，为视觉编码器与LLM的高效对接提供了可复用的分析工具（EmbedLens）和设计原则（选择性词元剪枝、最小化视觉计算）。
UTPTrack：面向视觉跟踪的简单统一词元剪枝
UTPTrack: Towards Simple and Unified Token Pruning for Visual Tracking
提出一种注意力引导、词元类型感知的统一剪枝策略，可同时压缩搜索区域、动态模板和静态模板中的视觉词元，为基于单流 Transformer 的跟踪器在保持精度的同时大幅降低计算量，该思路可迁移到其他需要处理多源视觉词元的 Transformer 任务。
基于局部与全局上下文优化的词元缩减：面向高效视频大语言模型
Token Reduction via Local and Global Contexts Optimization for Efficient Video Large Language Models
面向视频大语言模型的免训练词元压缩：用注意力引导的帧内/帧间锚点加最优传输，把被剪词元的信息聚合进锚点，可直接套用到任何视频 LLM 的视觉编码器与 LLM 之间，降低视觉词元数而不丢时序细节。
面向行人重识别的 SSM 感知词元高效 VMamba：自适应图像块剪枝与合并
SSM-Aware Token-Efficient VMamba via Adaptive Patch Pruning and Merging for Person Re-Identification
把视觉状态空间模型（VMamba）中冗余的词元按层自适应剪枝、按深度合并，并学习逐层阈值来动态权衡精度与算力；做视觉主干加速的人可直接把这套结构化词元削减策略迁移到 ViT/SSM 类骨干上。
LightMover：带颜色与强度控制的生成式光照移动
LightMover: Generative Light Movement with Color and Intensity Controls
把光照编辑建模为视觉词元空间中的序列到序列预测，复用视频扩散先验，无需重新渲染即可改变光源位置、颜色与强度；其自适应词元剪枝（保留空间信息词元、压缩非空间属性）可迁移到其他基于词元的可控生成任务以缩短控制序列。
LazyVAR：通过尺度级词元剪枝与并行分组解码加速视觉自回归模型
LazyVAR: Accelerating Visual Autoregressive Models via Scale-wise Token Pruning and Parallel Group Decoding
对做视觉自回归生成的研究者，这篇给出了一个免训练、即插即用的加速范式：用相邻尺度聚合潜变量特征的相似度作为尺度更新指数来指导剪枝，并在大尺度上并行解码跨尺度词元，可直接套用到 VAR/Infinity 类模型的推理管线中。
IF-Prune：信息流引导的词元剪枝用于高效视觉语言模型
IF-Prune: Information-Flow Guided Token Pruning for Efficient Vision-Language Models
提出基于变分信息瓶颈的视觉词元剪枝方法，利用小型VLM估计词元熵作为剪枝指导，可复用于动态分辨率视觉编码器的高效推理。
DocPrune：通过背景、问题和理解感知的词元剪枝实现高效文档问答
DocPrune: Efficient Document Question Answering via Background, Question, and Comprehension-aware Token Pruning
针对文档图像中背景冗余和证据稀疏的特点，提出免训练的词元剪枝方法，可复用于其他视觉语言模型的长文档理解任务，提升推理效率。
面向高效视频扩散的内容感知动态图像块划分
Content-Aware Dynamic Patchification for Efficient Video Diffusion
把「固定图像块划分」换成由轻量 router 从 3D VAE latent 预测每个时空区域的 patch 大小，并配可学习的 patchify/unpatchify 层，可直接插到现有 DiT 骨干上；做视频/图像扩散加速时，这是一个无需改架构就能减少词元数的即插即用方案，其注意力引导的显著性对齐损失也可迁移到其他词元压缩方法。