MeToM：元数据引导的词元合并实现高效视频大语言模型
MeToM: Metadata-Guided Token Merging for Efficient Video LLMs
对做视频多模态推理加速的人，这篇给出了一个免训练、可直接插到现有 VLLM 上的词元预算分配思路：用编解码器元数据（残差、GoP 包大小）估计空域/时域信息密度，在 tokenization、跨帧分配、LLM 内部三层分别做合并，可直接复用于任何多帧视觉编码器的 prefill 降本。
原文依据 we propose a training-free Metadata-guided Token Merging framework (MeToM)
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论视频大语言模型（VLLM）因多帧产生的大量视觉词元而面临显著的计算挑战。现有的视觉词元剪枝方法未能考虑时空信息密度的不均衡，从而将稀缺的词元预算浪费在信息密度低的区域。本文提出一种免训练的元数据引导词元合并框架（MeToM），利用视频内在的元数据，根据内容复杂度自适应地分配预算并合并视觉词元。具体而言，MeToM 利用编解码器元数据中的残差数据作为空间信息密度线索，在词元化阶段合并信息量较少的区域，避免冗余编码并提升视觉编码器的效率。此外，MeToM 利用图像组（GoP）平均包大小来表征场景复杂度，从而捕捉信息密度的时序变化；该机制支持跨时间进行动态的逐帧词元分配，为内容复杂的帧分配更多词元，为信息稀疏的帧分配更少词元。最后，MeToM 通过多层注意力合并低贡献的视觉词元，以降低预填充浮点运算量以及 LLM 内部视觉 KV-cache 的占用。大量实验结果表明，MeToM 优于此前的最优方法。值得注意的是，它在不牺牲准确率的情况下，相比基线 VLLM 实现了 2.65 倍的推理加速。
英文原文摘要 1463 字符
Video Large Language Models (VLLMs) encounter significant computational challenges due to the large volume of visual tokens generated from multiple frames. Existing visual token pruning methods fail to account for the uneven spatiotemporal information density, thus squandering scarce token budgets on regions with low information density. In this paper, we propose a training-free Metadata-guided Token Merging framework (MeToM) that leverages intrinsic video metadata to adaptively allocate budgets and merge visual tokens based on content complexity. Specifically, MeToM exploits residual data from codec metadata as spatial information density cues. It merges less informative regions during tokenization, avoiding redundant encoding and improving the efficiency of the visual encoder. Additionally, MeToM captures temporal variations in information density by utilizing the average Group of Pictures (GoP) packet size to represent scene complexity. This mechanism enables dynamic per-frame token allocation across time, assigning more tokens to content-complex frames and fewer tokens to information-sparse ones. Finally, we merge low-contribution visual tokens via multi-layer attention to reduce prefill FLOPs and the visual KV-cache footprint inside the LLM. Extensive experimental results demonstrate that MeToM outperforms prior state-of-the-art methods. Notably, it achieves a 2.65xinference speedup over the baseline VLLM without sacrificing accuracy.