KV-cache-优化

MeToM：元数据引导的词元合并实现高效视频大语言模型

MeToM: Metadata-Guided Token Merging for Efficient Video LLMs

对做视频多模态推理加速的人，这篇给出了一个免训练、可直接插到现有 VLLM 上的词元预算分配思路：用编解码器元数据（残差、GoP 包大小）估计空域/时域信息密度，在 tokenization、跨帧分配、LLM 内部三层分别做合并，可直接复用于任何多帧视觉编码器的 prefill 降本。