Tag · 12 篇
视觉词元压缩
变化感知的视觉词元丢弃：加速大型视觉语言模型
Variation-aware Vision Token Dropping for Faster Large Vision-Language Models
对做 LVLM 推理加速的人，这篇给出了一个可直接插入 LLM 内部的视觉词元丢弃准则：按词元在层间的变化幅度（variation）而非注意力位置来排序剪枝，绕开了位置偏置与 FlashAttention 等高效算子的兼容问题，可复用到任意 LVLM 的 prefill 阶段。
POINTS-Long：多模态大模型中的自适应双模式视觉推理
POINTS-Long: Adaptive Dual-Mode Visual Reasoning in MLLMs
对做长视频/流式多模态理解的视觉研究者，这篇提供了可动态缩放的视觉词元方案：focus/standby 双模式在推理时按需在精度与效率间切换，配合可动态分离的 KV-cache 维持超长视觉记忆，可直接借鉴到视觉编码器到 LLM 的词元预算分配与流式记忆管理环节。
面向视觉语言模型的混合词元压缩
Hybrid Token Compression for Vision-Language Models
提出双通道（连续 ViT 图像块 + 离散 MGVQ 语义锚点）视觉词元压缩方案，用解耦注意力掩码与 <voco> 瓶颈把 580 个视觉词元压成 1 个，可直接用于降低任意 VLM 的视觉上下文长度与显存开销。
FluxMem：面向流式视频理解的自适应分层记忆
FluxMem: Adaptive Hierarchical Memory for Streaming Video Understanding
提出免训练的分层视觉词元压缩方法（TAS+SDC），通过自适应压缩率减少冗余视觉词元，可直接用于视频语言模型的高效推理，降低延迟和显存。
EvoComp：通过语义引导的进化标注为多模态大语言模型学习视觉词元压缩
EvoComp: Learning Visual Token Compression for Multimodal Large Language Models via Semantic-Guided Evolutionary Labeling
为 MLLM 的视觉词元压缩提供了一套可复用的监督信号构造范式：用进化搜索在输出损失最小化目标下自动标注应保留的词元子集，再以轻量 encoder-only 压缩器学习该选择策略，可直接迁移到高分辨率、多图或视频输入下的视觉词元剪枝与加速。
EarlyTom：早期词元压缩实现快速视频理解
EarlyTom: Early Token Compression Completes Fast Video Understanding
把视觉词元压缩从预填充后段前移到视觉编码器内部，并给出解耦的空间词元选择策略，可直接复用到任何 Video-LLM 的视觉编码器前端以降低 TTFT 与浮点运算量。
DUET-VLM：面向视觉语言模型训练与推理的双阶段统一高效词元缩减
DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference
提供一种即插即用的双阶段视觉词元压缩方案：先在视觉编码器输出端做冗余感知合并，再在语言骨干网络内按层用文本显著性引导丢弃视觉词元，可直接嵌入 LLaVA/Video-LLaVA 类 VLM 的端到端训练与推理以大幅降低视觉词元数而几乎不掉点。
CoIn：面向高效大型多模态模型的覆盖度与信息量引导词元削减
CoIn: Coverage and Informativeness-Guided Token Reduction for Efficient Large Multimodal Models
把视觉词元裁剪建模为「信息量 + 覆盖度」的联合最优子集选择，用基于体积的覆盖度准则保证特征空间全局代表性，且与 kernel 级推理加速器兼容——做 LMM 推理加速或多模态 token 压缩时可直接替换 importance-only 或 pairwise 去冗余的选 token 策略。
Blink：面向增强多模态理解的动态视觉词元分辨率
Blink: Dynamic Visual Token Resolution for Enhanced Multimodal Understanding
提出基于注意力图的逐层显著性估计与 TokenSR 超分扩展机制，可在单次前向中动态为显著视觉词元分配更多计算，是一种可插拔的视觉词元分辨率调度思路，可迁移到其他 MLLM 的视觉编码与推理加速场景。
ApET：面向高效视觉语言模型的近似误差引导词元压缩
ApET: Approximation-Error Guided Token Compression for Efficient VLMs
用线性近似重构误差衡量视觉词元信息量并据此剪枝，摆脱对 [CLS] 注意力或文本-视觉交叉注意力的依赖，从而兼容 FlashAttention，可直接用于任意 VLM 的视觉编码器输出端做免训练或轻量加速。
AdaptVision：通过自适应视觉获取实现高效视觉语言模型
AdaptVision: Efficient Vision-Language Models via Adaptive Visual Acquisition
把「视觉词元数量」当作可由模型自主决策的动作，用强化学习（DTPO）在粗到细的流程中决定何时调用裁剪工具获取高分辨率区域，为视觉研究者提供了一种按样本自适应分配视觉计算预算、而非固定比例压缩的 VLM 推理范式。
像病理学家一样思考：组织感知的全切片图像推理
Act Like a Pathologist: Tissue-Aware Whole Slide Image Reasoning
把「问题引导的由粗到细检索」用于超大幅图像（全切片）的视觉语言推理：先用分组采样器定位与问题相关的组织区域，再用图像块选择器挑出信息量最大的图像块，从而把视觉词元减少约 70%。这套「先粗筛区域、再细选图像块」的检索式词元压缩思路，可直接迁移到高分辨率图像或视频的 VLM 推理中，用来降低词元开销并提升可解释性。