Tag · 21 篇
长视频理解
VideoSeek:具备工具引导搜索能力的长时程视频智能体
VideoSeek: Long-Horizon Video Agent with Tool-Guided Seeking
把「视频逻辑流」当作主动搜索线索,用 think-act-observe 循环加多粒度工具按需取帧,替代对密集采样帧的穷举解析;做长视频 VQA 或视频推理时可直接复用这套按需取帧的智能体框架,在帧数大幅下降的同时保持甚至提升精度。
VideoChat-M1:通过多智能体强化学习实现面向视频理解的协作策略规划
VideoChat-M1: Collaborative Policy Planning for Video Understanding via Multi-Agent Reinforcement Learning
把视频理解建模为多个策略智能体各自生成、执行并相互通信更新工具调用策略的过程,并用最终答案奖励与中间协作反馈做联合强化学习优化;对做长视频/复杂时序推理的视觉研究者,这是一套可复用的「多智能体+工具调用+MARL」框架,可替代静态固定的工具链。
VideoARM:面向长视频理解的分层记忆智能体推理
VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding
提出一种无需穷举预处理的自适应智能体推理框架,通过控制器调用工具进行由粗到细的视频解析,并维护分层多模态记忆,为长视频理解中的高效多模态大模型推理提供了可复用的记忆构建与工具调度机制。
面向长视频理解的视频面板
Video Panels for Long Video Understanding
提出一种免训练、参数无关的视觉提示策略,通过将多帧拼接为面板图像来权衡空间细节与时序分辨率,可直接集成到现有视频语言模型中提升长视频理解性能。
TimeViper:一种用于高效长视频理解的混合 Mamba-Transformer 视觉语言模型
TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding
TimeViper 的混合 Mamba-Transformer 骨干与 TransV 词元压缩模块,为视觉语言模型处理长视频提供了一种降低推理成本且保持多模态理解能力的可复用架构思路。
以草稿思考:面向高效长视频理解的推测式时序推理
Thinking with Drafts: Speculative Temporal Reasoning for Efficient Long Video Understanding
把「草稿模型快速提议关键帧 + 目标模型验证并迭代精化」的推测式双模型协作引入 thinking-with-frames 流程,可直接用于降低长视频 MLLM 推理中冗余多模态上下文的开销,其帧级证据标注与 RL 训练范式也可迁移到其他需要稀疏帧采样的视频推理任务。
先思考,再验证:面向长视频理解的假设验证多智能体框架
Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding
将长视频问答重构为「先提出可检验假设、再定位证据验证」的多智能体流程,为视觉语言模型处理长视频时抑制语义漂移和相关性错误提供了一种可复用的推理范式。
Symphony:受认知启发的多智能体系统用于长视频理解
Symphony: A Cognitively-Inspired Multi-Agent System for Long-Video Understanding
提出基于VLM的视觉定位方法评估视频片段与问题的相关性,并设计带反思的多智能体协作机制,可复用于长视频问答中的关键片段定位与多步推理。
看见场景才重要:用场景感知长视频基准揭示视频理解模型中的遗忘
Seeing the Scene Matters: Revealing Forgetting in Video Understanding Models with a Scene-Aware Long-Video Benchmark
SceneBench 把长视频按「视觉与语义上下文一致的场景」切分,并给出场景级问答协议,可直接用于诊断 VLM 的长程遗忘;Scene-RAG 的动态场景记忆检索思路也可迁移到任何需要跨片段取证的视频问答或视频对话系统。
通过视觉记忆机制扩展多模态大语言模型的长视频理解能力
Scaling the Long Video Understanding of Multimodal Large Language Models via Visual Memory Mechanism
提出免训练的视觉记忆机制,将视觉KV缓存作为记忆源,通过双路径压缩和多样化读取策略,使多模态大模型能处理无限长度视频,为长视频理解提供可复用的记忆管理方案。
基于视觉语言模型的循环推理用于估计长时程具身任务进度
Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress
提出循环推理框架,用不断演化的思维链(CoT)记录任务分解与完成状态,迭代处理局部视频片段,避免长视频的高计算成本,为视觉语言模型在长时序视频推理中提供可复用方案。
REVISOR:超越文本反思,面向长视频理解的多模态内省推理
REVISOR: Beyond Textual Reflection, Towards Multimodal Introspective Reasoning in Long-Form Video Understanding
把纯文本的自我反思扩展为跨文本与视觉片段的反思过程,并用 Dual Attribution Decoupled Reward 在 GRPO 中约束推理与所选视频证据的因果对齐;做长视频 VQA 或多模态推理的工作可以直接借用这套「视觉片段回溯 + 解耦奖励」的强化学习框架,无需额外监督微调或外部模型。
基于记忆反馈的问题引导视觉压缩用于长视频理解
Question-guided Visual Compression with Memory Feedback for Long-Term Video Understanding
提出问题引导的多模态选择性注意力(QMSA),将上下文记忆中的历史帧反馈到当前感知,用于压缩长视频中的视觉 token;该机制可复用于任何需要长时序视觉 token 压缩的 VLM 推理流程。
META:面向长视频理解的工具轨迹自适应元进化
META: Meta Evolution of Tool Trajectory Adaptation for Long-Video Understanding
对做长视频理解的视觉研究者,这篇提供了免训练、模型无关的智能体框架:把重复出现的多步工具调用轨迹抽象为可复用的宏工具,并把失败轨迹蒸馏成结构化失败先验来约束后续工具选择,从而在不更新参数的情况下缩短推理链、提升时序感知能力,可直接套用到现有 VLM 的长视频问答流程上。
LongVT:通过原生工具调用激励“用长视频思考”
LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling
将LMM固有的时序定位能力作为原生视频裁剪工具,实现全局到局部的迭代推理,为长视频理解提供可复用的智能体框架与数据构造流程。
Long-RVOS:面向长时指代视频目标分割的综合基准
Long-RVOS: A Comprehensive Benchmark for Long-term Referring Video Object Segmentation
Long-RVOS 提供了长时指代视频目标分割的基准和评估指标,可直接用于测试模型在遮挡、消失重现和镜头切换下的时序建模能力;其基线 ReferMo 融合运动信息与局部到全局架构,为长视频 RVOS 提供了可复用的设计思路。
LensWalk:通过规划视频观看方式实现智能体式视频理解
LensWalk: Agentic Video Understanding by Planning How You See in Videos
把「看哪里、看多密」变成智能体可调的工具参数,视觉研究者可借鉴这种按需采样+工具编排的推理范式,用于长视频问答与证据定位,无需微调即可插拔到现有 VLM 配方上。
基于音视频实体凝聚与智能体搜索的层次化长视频理解
Hierarchical Long Video Understanding with Audiovisual Entity Cohesion and Agentic Search
提出层次化视频索引(全局摘要-场景-片段-实体)与智能体检索机制,可复用于长视频问答中的动态信息检索与叙事重建;音视频实体级对齐为多模态视频理解提供语义一致性约束。
先分流,再定位:面向长视频理解的按查询类型自适应帧选择
Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding
提出按查询类型(全局/局部)分流的免训练帧选择策略:全局查询用均匀采样、局部查询才启用查询感知检索,可直接嵌入现有 LMM 长视频推理管线,在 256 帧输入下仍稳定提升,为长视频 token 预算分配提供可复用思路。
CineSRD:利用视觉、声学与语言线索的开放世界视觉媒体说话人日志
CineSRD: Leveraging Visual, Acoustic, and Linguistic Cues for Open-World Visual Media Speaker Diarization
将说话人日志任务扩展到影视剧等开放世界视觉媒体场景,提出视觉锚框聚类注册说话人、结合音频语言模型检测说话人轮次的统一多模态框架,为长视频中跨模态异步条件下的说话人标注提供了可复用的技术路线。
面向高效长视频推理的多智能体感知-动作联盟
A Multi-Agent Perception-Action Alliance for Efficient Long Video Reasoning
提出一种多智能体感知-动作探索框架,通过线索引导的块对齐和跨审查机制,高效处理长视频推理,可复用于视频问答和长视频理解任务。