Tag · 2 篇
流式视频处理
分布 视觉语言模型1视频理解与时序1
01 02
通过视觉记忆机制扩展多模态大语言模型的长视频理解能力
Scaling the Long Video Understanding of Multimodal Large Language Models via Visual Memory Mechanism
提出免训练的视觉记忆机制,将视觉KV缓存作为记忆源,通过双路径压缩和多样化读取策略,使多模态大模型能处理无限长度视频,为长视频理解提供可复用的记忆管理方案。
异步时序建模与双智能体框架用于流式密集视频描述
Asynchronous Temporal Modeling with Two-Agent Framework for Streaming Dense Video Captioning
提出双智能体异步框架,用轻量SMM检测事件边界、LMM生成描述,避免阈值依赖,为流式视频理解提供可复用的事件触发与描述生成范式。