Tag · 11 篇
时序建模
Video-CoE:通过事件链强化视频事件预测
Video-CoE: Reinforcing Video Event Prediction via Chain of Events
论文提出的 Chain of Events 范式通过构建时序事件链来隐式引导 MLLM 关注视觉内容与事件间的逻辑关联,这种将推理链结构嵌入视频时序建模的思路,可迁移到视频问答、动作预测等需要细粒度时序推理的视觉任务中。
VidPrism:用于图像到视频迁移的异构混合专家
VidPrism: Heterogeneous Mixture of Experts for Image-to-Video Transfer
提出异构时序混合专家框架,通过内容感知多速率采样生成不同语义/运动强度的视频流,并分配给功能特化的专家,为视觉中的时序建模提供可复用的分工与融合机制。
面向无人机跟踪的低成本高效时序学习
Toward Low-Cost yet Effective Temporal Learning for UAV Tracking
提出以 PPF(每 FLOP 精度)衡量时序学习组件的性价比,并用轻量的代表性外观 token 传播与合并实现时序建模,可直接迁移到任何单流跟踪器或需要低成本时序聚合的视频任务中。
脉冲 Transformer 中的时序交互与多延迟混合器
Temporal Interaction in Spiking Transformers with Multi-Delay Mixer
MD-Mixer 作为即插即用模块替换脉冲 Transformer 中的空间自注意力,为事件相机等神经形态视觉输入提供显式时序混合,可直接用于事件驱动视觉骨干网络的改造。
Sculpt4D:基于稀疏注意力扩散 Transformer 生成 4D 形状
Sculpt4D: Generating 4D Shapes via Sparse-Attention Diffusion Transformers
把预训练 3D 扩散 Transformer 通过块稀疏注意力扩展成时序 4D 生成器,其时间衰减稀疏掩码锚定首帧保身份的思路可直接迁移到视频/动态 NeRF 等需要长程时序一致性的生成任务,并显著降低注意力开销。
ReMoRa:基于精细化运动表征的多模态大语言模型用于长视频理解
ReMoRa: Multimodal Large Language Model based on Refined Motion Representation for Long-Video Understanding
用块级运动矢量作为光流式的紧凑时序代理,替代逐帧 RGB 输入,并配去噪模块提升运动表征保真度;对做长视频理解的人,这是一条把解码与序列长度成本从 RGB 帧转移到压缩域的可复用路径。
OpenVO:具备时序动态感知的开放世界视觉里程计
OpenVO: Open-World Visual Odometry with Temporal Dynamics Awareness
把观测频率作为显式条件编码进两帧位姿回归,并借助基础模型的3D几何先验,使单目视觉里程计在未知帧率与未标定相机下仍能输出真实尺度轨迹;做行车记录仪或任意变帧率视频的轨迹提取、3D重建时可直接复用这一设定。
学习驾驶是免费的礼物:从无位姿野外视频进行大规模无标签自动驾驶预训练
Learning to Drive is a Free Gift: Large-Scale Label-Free Autonomy Pretraining from Unposed In-The-Wild Videos
利用无位姿视频和教师模型生成的伪监督信号,联合预测点图、相机位姿、语义布局和运动掩码,学习统一的伪4D表征,可迁移到自动驾驶规划任务。
HyperGait:利用超图释放解析在野外步态识别中的力量
HyperGait: Unleashing the Power of Parsing for Gait Recognition in the Wild via Hypergraph
将人体解析序列作为步态识别输入,并用超图卷积分别建模身体部位间的高阶空间关系与部位时序动态,为野外步态识别提供可复用的高阶相关性建模思路。
EgoPoseFormer v2:面向AR/VR的精确第一人称人体运动估计
EgoPoseFormer v2: Accurate Egocentric Human Motion Estimation for AR/VR
提出身份条件查询、多视角空间精炼和因果时序注意力,在恒定计算预算下实现时序一致且空间对齐的人体姿态估计;其不确定性感知的半监督自标注系统可复用于其他标注稀缺的视觉任务。
ChronoGS:解耦多期场景中的不变量与变化
ChronoGS: Disentangling Invariants and Changes in Multi-Period Scenes
把多期采集的图像集合统一到一套锚点支架上的时序调制高斯表示,并显式解耦稳定几何与变化成分,为长期、非连续变化场景(城市重扫描、施工进度、环境监测)的新视角合成提供了可复用的表示与评测基准。