Tag · 5 篇

视觉-token-压缩

分布视觉语言模型4高效模型与推理加速1

MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe

3D-Resampler 对图像与视频做高度紧凑的视觉编码，配合混合强化学习在短/长推理模式间切换，为视觉侧提供了一条在 8B 规模下同时压低显存与推理耗时的可复用路线；其视频 token 压缩策略对做视频 MLLM 的效率优化尤其有参考价值。

Focus, Don't Prune: Identifying Instruction-Relevant Regions for Information-Rich Image Understanding

对做 LVLM 高效推理的人，这篇给出了「先用指令定位相关区域、再只对区域提细粒度特征」的两阶段视觉 token 削减范式，并附带 InfographicVQA/MultiPageDocVQA/SinglePageDocVQA 上的区域级真值标注，可直接用于训练或评测区域选择模块。

FlexiVideo: Variation-Aware Temporal Dynamics Modeling for Efficient Video Understanding

面向视频 MLLM 的视觉 token 冗余问题，提出按帧间差异自适应分段并动态调整时序编码窗口，可直接复用到任何视频 LLM 的视觉编码前端以降低 token 数；其「高动态帧对导致视觉混淆」的发现也提示做视频 token 合并/采样时需按运动强度而非固定间隔处理。

Boosting Document Parsing Efficiency and Performance with Coarse-to-Fine Visual Processing

VRFM 用定位与上下文关系预测筛出有效视觉 token、抑制背景冗余，这一「先粗筛区域再细识别」的 token 选择思路可直接迁移到高分辨率图像输入下的任意 VLM 任务（如高分辨率 OCR、图表理解、遥感图文），在保持精度的同时大幅削减视觉 token 数与推理成本。

Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing

把「先看再算」做成可插拔的轻量模块：用自回归+强化学习在 ViT/MLLM 之前挑出最小多尺度 patch 集合，并以重建误差阈值控制保真度，可直接用于长视频、高分辨率输入下的 token 削减与推理加速。