Tag · 8 篇

流式视频理解

分布视觉语言模型4高效模型与推理加速2视频理解与时序2

WeaveTime: Streaming from Earlier Frames into Emergent Memory in VideoLLMs

对做流式视频理解的人，这篇给出了一个模型无关的插件式方案：用轻量时序重建目标注入顺序感知表征，再配合不确定性触发、由粗到细的 Past-Current 动态焦点缓存，在严格在线、时间因果约束下兼顾精度与延迟，可直接挂到现有 Video-LLM 上。

StreamingTOM: Streaming Token Compression for Efficient Video Understanding

提出免训练的两阶段词元压缩框架，在LLM前通过因果时序缩减减少每帧预填充成本，在LLM后通过4位量化内存管理KV缓存，为流式视频理解提供可预测延迟和有限内存的解决方案。

Streaming Video Instruction Tuning

把离线视频 LLM 改造成逐帧到达即可响应的流式助手，其 Streamo-Instruct-465K 的多任务指令构造方式与统一训练管线，可直接复用于需要实时解说、时序定位或时间敏感问答的视频-语言系统。

Streaming Video Crime Anticipation with Spatio-Temporal Causal Reasoning

将实体间的隐式动态关系显式建模为时空因果超图，并以流式模块接入 VLM，为视频时序推理提供了一种可复用的因果结构注入方式，可用于任何需要预测未来事件或建模实体交互的视频理解任务。

StreamReady: Learning What to Answer and When in Long Streaming Videos

提出了一种基于证据窗口的时序就绪度机制，可集成到流式视频理解模型中，实现证据出现时及时回答，避免过早或过晚响应。

StreamRAG: Enhancing Real-Time Video Understanding with Retrieval Augmentation

把 RAG 从离线视频搬到流式视频，其 Stream Event Segmentation 的实时边界检测和 Token-Reusing Accelerator 的跨帧计算复用，可直接用于任何需要低延迟视频字幕/检索的视觉语言流水线。

POINTS-Long: Adaptive Dual-Mode Visual Reasoning in MLLMs

对做长视频/流式多模态理解的视觉研究者，这篇提供了可动态缩放的视觉词元方案：focus/standby 双模式在推理时按需在精度与效率间切换，配合可动态分离的 KV-cache 维持超长视觉记忆，可直接借鉴到视觉编码器到 LLM 的词元预算分配与流式记忆管理环节。

Accelerating Streaming Video Large Language Models via Hierarchical Token Compression

STC 的层级词元压缩思路可直接用于任何流式视频视觉语言模型：在 ViT 端缓存并复用时序相似帧的特征，在 LLM 预填充前按时空相关性剪枝视觉词元，从而在不重训练的情况下降低延迟，适合实时视频理解部署。