Tag · 21 篇

长视频理解

分布 视觉语言模型16视频理解与时序4数据集与评测1
01
视觉语言模型 / CVPR2026

VideoSeek:具备工具引导搜索能力的长时程视频智能体

VideoSeek: Long-Horizon Video Agent with Tool-Guided Seeking

把「视频逻辑流」当作主动搜索线索,用 think-act-observe 循环加多粒度工具按需取帧,替代对密集采样帧的穷举解析;做长视频 VQA 或视频推理时可直接复用这套按需取帧的智能体框架,在帧数大幅下降的同时保持甚至提升精度。

视频智能体工具调用多粒度视频观测
02
视觉语言模型 / CVPR2026

VideoChat-M1:通过多智能体强化学习实现面向视频理解的协作策略规划

VideoChat-M1: Collaborative Policy Planning for Video Understanding via Multi-Agent Reinforcement Learning

把视频理解建模为多个策略智能体各自生成、执行并相互通信更新工具调用策略的过程,并用最终答案奖励与中间协作反馈做联合强化学习优化;对做长视频/复杂时序推理的视觉研究者,这是一套可复用的「多智能体+工具调用+MARL」框架,可替代静态固定的工具链。

多智能体强化学习工具调用策略规划
03
视觉语言模型 / CVPR2026

VideoARM:面向长视频理解的分层记忆智能体推理

VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding

提出一种无需穷举预处理的自适应智能体推理框架,通过控制器调用工具进行由粗到细的视频解析,并维护分层多模态记忆,为长视频理解中的高效多模态大模型推理提供了可复用的记忆构建与工具调度机制。

智能体推理分层记忆长视频理解
04
视觉语言模型 / CVPR2026

面向长视频理解的视频面板

Video Panels for Long Video Understanding

提出一种免训练、参数无关的视觉提示策略,通过将多帧拼接为面板图像来权衡空间细节与时序分辨率,可直接集成到现有视频语言模型中提升长视频理解性能。

视觉提示长视频理解免训练方法
05
视觉语言模型 / CVPR2026

TimeViper:一种用于高效长视频理解的混合 Mamba-Transformer 视觉语言模型

TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding

TimeViper 的混合 Mamba-Transformer 骨干与 TransV 词元压缩模块,为视觉语言模型处理长视频提供了一种降低推理成本且保持多模态理解能力的可复用架构思路。

Mamba长视频理解词元压缩
06
视频理解与时序 / CVPR2026

以草稿思考:面向高效长视频理解的推测式时序推理

Thinking with Drafts: Speculative Temporal Reasoning for Efficient Long Video Understanding

把「草稿模型快速提议关键帧 + 目标模型验证并迭代精化」的推测式双模型协作引入 thinking-with-frames 流程,可直接用于降低长视频 MLLM 推理中冗余多模态上下文的开销,其帧级证据标注与 RL 训练范式也可迁移到其他需要稀疏帧采样的视频推理任务。

多模态大语言模型强化学习推测解码
07
视觉语言模型 / CVPR2026

先思考,再验证:面向长视频理解的假设验证多智能体框架

Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding

将长视频问答重构为「先提出可检验假设、再定位证据验证」的多智能体流程,为视觉语言模型处理长视频时抑制语义漂移和相关性错误提供了一种可复用的推理范式。

多智能体框架假设验证长视频理解
08
视觉语言模型 / CVPR2026

Symphony:受认知启发的多智能体系统用于长视频理解

Symphony: A Cognitively-Inspired Multi-Agent System for Long-Video Understanding

提出基于VLM的视觉定位方法评估视频片段与问题的相关性,并设计带反思的多智能体协作机制,可复用于长视频问答中的关键片段定位与多步推理。

多智能体系统长视频理解视觉定位
09
视觉语言模型 / CVPR2026

看见场景才重要:用场景感知长视频基准揭示视频理解模型中的遗忘

Seeing the Scene Matters: Revealing Forgetting in Video Understanding Models with a Scene-Aware Long-Video Benchmark

SceneBench 把长视频按「视觉与语义上下文一致的场景」切分,并给出场景级问答协议,可直接用于诊断 VLM 的长程遗忘;Scene-RAG 的动态场景记忆检索思路也可迁移到任何需要跨片段取证的视频问答或视频对话系统。

长视频理解视频基准评测检索增强生成
10
视觉语言模型 / CVPR2026

通过视觉记忆机制扩展多模态大语言模型的长视频理解能力

Scaling the Long Video Understanding of Multimodal Large Language Models via Visual Memory Mechanism

提出免训练的视觉记忆机制,将视觉KV缓存作为记忆源,通过双路径压缩和多样化读取策略,使多模态大模型能处理无限长度视频,为长视频理解提供可复用的记忆管理方案。

视觉记忆机制KV缓存压缩免训练方法
11
视觉语言模型 / CVPR2026

基于视觉语言模型的循环推理用于估计长时程具身任务进度

Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress

提出循环推理框架,用不断演化的思维链(CoT)记录任务分解与完成状态,迭代处理局部视频片段,避免长视频的高计算成本,为视觉语言模型在长时序视频推理中提供可复用方案。

思维链推理长视频理解任务进度估计
12
视觉语言模型 / CVPR2026

REVISOR:超越文本反思,面向长视频理解的多模态内省推理

REVISOR: Beyond Textual Reflection, Towards Multimodal Introspective Reasoning in Long-Form Video Understanding

把纯文本的自我反思扩展为跨文本与视觉片段的反思过程,并用 Dual Attribution Decoupled Reward 在 GRPO 中约束推理与所选视频证据的因果对齐;做长视频 VQA 或多模态推理的工作可以直接借用这套「视觉片段回溯 + 解耦奖励」的强化学习框架,无需额外监督微调或外部模型。

多模态反思推理强化学习微调GRPO
13
视觉语言模型 / CVPR2026

基于记忆反馈的问题引导视觉压缩用于长视频理解

Question-guided Visual Compression with Memory Feedback for Long-Term Video Understanding

提出问题引导的多模态选择性注意力(QMSA),将上下文记忆中的历史帧反馈到当前感知,用于压缩长视频中的视觉 token;该机制可复用于任何需要长时序视觉 token 压缩的 VLM 推理流程。

长视频理解多模态大模型视觉压缩
14
视频理解与时序 / CVPR2026

META:面向长视频理解的工具轨迹自适应元进化

META: Meta Evolution of Tool Trajectory Adaptation for Long-Video Understanding

对做长视频理解的视觉研究者,这篇提供了免训练、模型无关的智能体框架:把重复出现的多步工具调用轨迹抽象为可复用的宏工具,并把失败轨迹蒸馏成结构化失败先验来约束后续工具选择,从而在不更新参数的情况下缩短推理链、提升时序感知能力,可直接套用到现有 VLM 的长视频问答流程上。

工具增强推理免训练智能体长视频理解
15
视觉语言模型 / CVPR2026

LongVT:通过原生工具调用激励“用长视频思考”

LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling

将LMM固有的时序定位能力作为原生视频裁剪工具,实现全局到局部的迭代推理,为长视频理解提供可复用的智能体框架与数据构造流程。

多模态思维链工具调用视频时序定位
16
数据集与评测 / CVPR2026

Long-RVOS:面向长时指代视频目标分割的综合基准

Long-RVOS: A Comprehensive Benchmark for Long-term Referring Video Object Segmentation

Long-RVOS 提供了长时指代视频目标分割的基准和评估指标,可直接用于测试模型在遮挡、消失重现和镜头切换下的时序建模能力;其基线 ReferMo 融合运动信息与局部到全局架构,为长视频 RVOS 提供了可复用的设计思路。

指代视频目标分割长视频理解时序一致性评估
17
视觉语言模型 / CVPR2026

LensWalk:通过规划视频观看方式实现智能体式视频理解

LensWalk: Agentic Video Understanding by Planning How You See in Videos

把「看哪里、看多密」变成智能体可调的工具参数,视觉研究者可借鉴这种按需采样+工具编排的推理范式,用于长视频问答与证据定位,无需微调即可插拔到现有 VLM 配方上。

智能体推理长视频理解免训练框架
18
视频理解与时序 / CVPR2026

基于音视频实体凝聚与智能体搜索的层次化长视频理解

Hierarchical Long Video Understanding with Audiovisual Entity Cohesion and Agentic Search

提出层次化视频索引(全局摘要-场景-片段-实体)与智能体检索机制,可复用于长视频问答中的动态信息检索与叙事重建;音视频实体级对齐为多模态视频理解提供语义一致性约束。

长视频理解层次化索引智能体检索
19
视觉语言模型 / CVPR2026

先分流,再定位:面向长视频理解的按查询类型自适应帧选择

Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

提出按查询类型(全局/局部)分流的免训练帧选择策略:全局查询用均匀采样、局部查询才启用查询感知检索,可直接嵌入现有 LMM 长视频推理管线,在 256 帧输入下仍稳定提升,为长视频 token 预算分配提供可复用思路。

长视频理解帧选择免训练方法
20
视频理解与时序 / CVPR2026

CineSRD:利用视觉、声学与语言线索的开放世界视觉媒体说话人日志

CineSRD: Leveraging Visual, Acoustic, and Linguistic Cues for Open-World Visual Media Speaker Diarization

将说话人日志任务扩展到影视剧等开放世界视觉媒体场景,提出视觉锚框聚类注册说话人、结合音频语言模型检测说话人轮次的统一多模态框架,为长视频中跨模态异步条件下的说话人标注提供了可复用的技术路线。

说话人日志多模态融合视觉锚框聚类
21
视觉语言模型 / CVPR2026

面向高效长视频推理的多智能体感知-动作联盟

A Multi-Agent Perception-Action Alliance for Efficient Long Video Reasoning

提出一种多智能体感知-动作探索框架,通过线索引导的块对齐和跨审查机制,高效处理长视频推理,可复用于视频问答和长视频理解任务。

多智能体协作视频问答长视频理解