Tag · 10 篇
流式推理
面向流式指代视频分割的大语言模型方法
Towards Streaming Referring Video Segmentation via Large Language Model
把图像级指代分割模型通过语义嵌入复用与在线掩码一致性感知扩展成流式视频分割,无需额外参数即可在单卡上以 7 FPS 流式推理,为实时指代视频分割与 MLLM 的在线部署提供可复用范式。
边看边想:面向大型视觉语言模型的流式思维链推理
Think-as-You-See: Streaming Chain-of-Thought Reasoning for Large Vision-Language Models
把视频 LVLM 的思维链从「看完再想」改成「边看边想」,用流式注意力掩码、位置编码和并行 KV 缓存实现帧到达即推理,可直接迁移到任何需要低延迟视频问答或在线视频理解的视觉语言模型上。
通过动态特征归一化稳定流式视频几何
Stabilizing Streaming Video Geometry via Dynamic Feature Normalization
DyFN 通过动态调制潜变量特征的统计量(均值和方差)来稳定单目几何基础模型在流式输入下的尺度漂移,仅微调 2% 参数即可复用现有强模型,为视频深度估计和在线三维重建提供了一种轻量、因果的时序一致性方案。
SLARM:面向动态场景的流式与语言对齐重建模型
SLARM: Streaming and Language-Aligned Reconstruction Model for Dynamic Scenes
SLARM 将语言对齐的语义特征与动态重建紧耦合,并采用窗口因果注意力实现低延迟流式推理,为动态场景重建提供了无需光流监督的高阶运动建模方案,可直接用于需要实时语义查询的 3D 重建任务。
SHARP:面向运动预测中精准鲁棒预测的短窗口流式方法
SHARP: Short-Window Streaming for Accurate and Robust Prediction in Motion Forecasting
面向视觉感知的自动驾驶系统,提供了一种实例感知的上下文流式机制:在推理过程中增量维护并更新每个智能体的潜变量表示,使模型在观测窗口长度不一致时仍能保持预测精度;该机制可直接迁移到在线感知与跟踪的时序特征维护中。
MuKV:面向长流式视频问答的多粒度 KV 缓存压缩
MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering
对做长视频多模态理解的人,这篇给出了一个可直接复用的 KV 缓存压缩思路:在 patch、帧、片段三个粒度上保留视觉词元,并用自注意力与频率双信号筛选词元,再配合半分层检索取回相关缓存,从而在有限显存下支撑长流式视频问答。
MM-SeR:面向轻量级图像描述的多模态自精炼
MM-SeR: Multimodal Self-Refinement for Lightweight Image Captioning
把 MLLM 的语言部分换成 125M 小模型后仍能保持事实性描述能力,这一发现提示视觉研究者:做图像描述时不必依赖大语言模型的复杂推理;其「先粗后细」的自精炼流程(用粗描述定位显著区域再重描述)可作为轻量 VLM 的通用解码策略复用。
FlashVSR:面向实时扩散式流式视频超分辨率
FlashVSR: Towards Real-time Diffusion-Based Streaming Video Super Resolution
面向实时视频超分,提出三阶段蒸馏流水线把多步扩散压缩为单步流式推理,并用局部约束稀疏注意力弥合训练-测试分辨率差距;做扩散加速或高分辨率视频复原时可直接借鉴这两套机制。
FlashDecoder:基于 Transformer 的实时潜变量到像素流式解码器
FlashDecoder: Real-Time Latent-to-Pixel Streaming Decoder with Transformers
把视频 VAE 的解码器从 3D 卷积换成带滚动 KV 缓存的纯 Transformer,实现定长时序窗口下的逐帧流式解码,可直接替换现有潜视频扩散模型的解码环节,在 1080p 长视频上同时降低延迟与显存。
EgoEdit:面向第一人称视频编辑的数据集、实时流式模型与基准
EgoEdit: Dataset, Real-Time Streaming Model, and Benchmark for Egocentric Video Editing
面向第一人称视频的指令引导编辑,核心可复用点是「保留手部与手物交互区域」的编辑约束设计,以及单卡实时流式推理管线;做视频编辑或 AR 交互生成的研究者可直接借鉴其数据构造与手部保持评测协议。