Tag · 14 篇
词元压缩
面向超低保留率视频大语言模型的统一时空词元压缩
Unified Spatiotemporal Token Compression for Video-LLMs at Ultra-Low Retention
提出一种无需重训练、即插即用的视频大语言模型视觉词元压缩方法，通过全局时空分配和文本感知合并，在极低保留率下保持性能，可直接用于降低视频理解任务的推理成本。
UniCompress：面向统一视觉-语言理解与生成的词元压缩
UniCompress: Token Compression for Unified Vision-Language Understanding and Generation
对做统一视觉-语言模型的人，这套带可学习全局元词元的即插即用压缩/解压模块可以直接插到已有的离散词元自回归框架里，把图像词元砍到 1/4 而不必全量重训，是降低多模态推理延迟与显存的一条低成本路径。
UniComp：从信息唯一性重新审视视频压缩
UniComp: Rethinking Video Compression Through Informational Uniqueness
用条件熵与「信息唯一性」度量词元冗余，可在任意视觉 Transformer 的视频/图像词元压缩中替换启发式重要性打分，为下游视频模型提供可复用的自适应词元分配策略。
TimeViper：一种用于高效长视频理解的混合 Mamba-Transformer 视觉语言模型
TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding
TimeViper 的混合 Mamba-Transformer 骨干与 TransV 词元压缩模块，为视觉语言模型处理长视频提供了一种降低推理成本且保持多模态理解能力的可复用架构思路。
StreamingTOM：面向高效视频理解的流式词元压缩
StreamingTOM: Streaming Token Compression for Efficient Video Understanding
提出免训练的两阶段词元压缩框架，在LLM前通过因果时序缩减减少每帧预填充成本，在LLM后通过4位量化内存管理KV缓存，为流式视频理解提供可预测延迟和有限内存的解决方案。
重新审视词元压缩：加速基于ViT的稀疏多视图3D目标检测器
Revisiting Token Compression for Accelerating ViT-based Sparse Multi-View 3D Object Detectors
把「图像块尺寸」本身当作可动态调节的压缩维度，配合跨粒度特征增强把粗块丢失的细节补回来，可直接迁移到任何 ViT 主干的多视图/时序感知模型上做免训练或轻训练加速。
重新思考大视觉语言模型的词元缩减
Rethinking Token Reduction for Large Vision-Language Models
将词元缩减从启发式剪枝/合并转为可学习的压缩映射，并针对多轮VQA中后续问题未知的设定设计提示词无关的压缩器，为LVLM推理加速提供可复用训练范式。
OmniZip：面向快速全模态大模型的语言模型音频引导动态词元压缩
OmniZip: Audio-Guided Dynamic Token Compression for Fast Omnimodal Large Language Models
对做视频多模态理解的人，这套「用音频显著性动态决定视频词元保留率」的免训练压缩流程可以直接插到任意 OmniLLM 的视觉编码器之后，作为长视频词元预算分配的可复用策略；其按时间组计算信息密度再交错时空剪枝的做法，也可迁移到纯视觉视频 LLM 的帧级词元裁剪。
无需真实异常：多模态大语言模型赋能的零样本视频异常检测
No Need For Real Anomaly: MLLM Empowered Zero-Shot Video Anomaly Detection
利用多模态大语言模型和伪异常采样器实现零样本视频异常检测，为开放世界场景下的异常理解提供了无需真实异常数据的训练范式；基于反向注意力的词元压缩方法可复用于降低时空稀疏模式的计算开销。
行驶在寄存器之上
Driving on Registers
用相机感知的 register 词元把多相机 ViT 特征压成紧凑场景表示，再驱动轻量解码器生成并打分候选轨迹；这套「词元压缩 + 可解释子分数评分」的范式可直接迁移到其他需要多视角融合与实时推理的视觉任务。
自然图像自编码器能否紧凑地词元化 fMRI 体积以进行长程动力学建模？
Can Natural Image Autoencoders Compactly Tokenize fMRI Volumes for Long-Range Dynamics Modeling?
把预训练的 2D 自然图像自编码器当作 fMRI 体数据的词元化器，将每个 3D 体积压成少量连续词元，从而用普通 Transformer 编码器在有限显存下做长程时空建模；这套「自然图像编码器跨域复用 + 掩码词元建模预训练」的思路可直接迁移到其他高维医学/科学体数据的序列化建模。
CORE：以紧凑目标中心表征作为 LVLM 词元合并的新范式
CORE: Compact Object-centric REpresentations as a New Paradigm for Token Merging in LVLMs
用轻量分割解码器产出的物体掩码作为高层语义先验来指导视觉词元合并，并配合质心引导排序恢复合并后词元的空间顺序——这套「语义先验引导压缩 + 位置重排」思路可直接迁移到任何需要削减视觉词元数量的 VLM 推理管线中。
面向视觉目标跟踪的高效词元压缩框架
An Efficient Token Compression Framework for Visual Object Tracking
提出可学习的自适应词元压缩器与分层交互编码器，可复用于其他需要处理多帧历史模板的视觉跟踪或视频理解任务，以降低词元冗余和计算量。
通过层级词元压缩加速流式视频大语言模型
Accelerating Streaming Video Large Language Models via Hierarchical Token Compression
STC 的层级词元压缩思路可直接用于任何流式视频视觉语言模型：在 ViT 端缓存并复用时序相似帧的特征，在 LLM 预填充前按时空相关性剪枝视觉词元，从而在不重训练的情况下降低延迟，适合实时视频理解部署。