Tag · 10 篇
视频大语言模型
WorldMM：面向长视频推理的动态多模态记忆智能体
WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning
把长视频理解从纯文本摘要记忆扩展到文本+视觉的多源记忆库，并用自适应检索代理按查询迭代选择记忆源与时间粒度；对做长视频 VQA、视频检索或记忆增强 VLM 的工作，这套「多粒度情景记忆+语义记忆+视觉记忆」的组织与检索策略可直接复用。
VideoITG：基于指令时序定位的多模态视频理解
VideoITG: Multimodal Video Understanding with Instructed Temporal Grounding
把「选哪些帧」变成由用户指令驱动的判别式选择问题，并用 VidThinker 自动生成指令条件下的时序定位标注；做视频 LLM 或长视频理解时，可直接复用这套帧采样监督信号与即插即用的选帧模块。
UFVideo：面向统一细粒度视频协同理解的大语言模型
UFVideo: Towards Unified Fine-Grained Video Cooperative Understanding with Large Language Models
把全局、像素、时序三种粒度的视频理解统一进单个 Video LLM，并用统一的视觉-语言引导对齐动态切换输出（文本、时序定位、grounded mask），为做视频问答、时序定位与指代分割的研究者提供了一个多任务协同的统一建模范式与配套基准。
基于局部与全局上下文优化的词元缩减：面向高效视频大语言模型
Token Reduction via Local and Global Contexts Optimization for Efficient Video Large Language Models
面向视频大语言模型的免训练词元压缩：用注意力引导的帧内/帧间锚点加最优传输，把被剪词元的信息聚合进锚点，可直接套用到任何视频 LLM 的视觉编码器与 LLM 之间，降低视觉词元数而不丢时序细节。
SegMo：面向高效 VLM 推理的内容感知稀疏化与局部凝聚分段并行协同设计
SegMo: Co-Designing Content-Aware Sparsity and Locally-Cohesive Segment Parallelism for Efficient VLM Inference
对做视频多模态推理的人，这篇给出了一个可直接复用的思路：利用 VideoLLM 注意力在场景内的局部凝聚性，先按查询相关性做场景级筛选、再按时序冗余做场景内剪枝，得到非均匀计算负载，并在场景边界切分做分段并行，用轻量全局上下文注入替代全局注意力的通信开销。
ReMoRa：基于精细化运动表征的多模态大语言模型用于长视频理解
ReMoRa: Multimodal Large Language Model based on Refined Motion Representation for Long-Video Understanding
用块级运动矢量作为光流式的紧凑时序代理，替代逐帧 RGB 输入，并配去噪模块提升运动表征保真度；对做长视频理解的人，这是一条把解码与序列长度成本从 RGB 帧转移到压缩域的可复用路径。
MeToM：元数据引导的词元合并实现高效视频大语言模型
MeToM: Metadata-Guided Token Merging for Efficient Video LLMs
对做视频多模态推理加速的人，这篇给出了一个免训练、可直接插到现有 VLLM 上的词元预算分配思路：用编解码器元数据（残差、GoP 包大小）估计空域/时域信息密度，在 tokenization、跨帧分配、LLM 内部三层分别做合并，可直接复用于任何多帧视觉编码器的 prefill 降本。
GIFT：面向高效视频理解的全局不可替代性帧定位
GIFT: Global Irreplaceability Frame Targeting for Efficient Video Understanding
提出一种免训练的关键帧选择框架，用「定向多样性」把相关性与多样性统一成不可替代性分数，并配合预算感知的自适应迭代选帧；做视频 VLM 推理或长视频理解时，可直接把这一选帧策略插到现有 LLaVA-Video 类模型的输入前端，替代均匀采样。
EarlyTom：早期词元压缩实现快速视频理解
EarlyTom: Early Token Compression Completes Fast Video Understanding
把视觉词元压缩从预填充后段前移到视觉编码器内部，并给出解耦的空间词元选择策略，可直接复用到任何 Video-LLM 的视觉编码器前端以降低 TTFT 与浮点运算量。
AdaSpark：面向高效长视频理解的自适应稀疏性
AdaSpark: Adaptive Sparsity for Efficient Long-Video Understanding
AdaSpark 的「3D 时空立方体划分 + 熵驱动 Top-p 自适应选择」可直接迁移到任何长视频或多帧输入的视觉 Transformer 中，用输入复杂度动态决定注意力与 FFN 的计算预算，在保留细粒度与长程时序依赖的同时降低浮点运算量。