Tag · 3 篇
掩码视频建模
01 02 03
TrackMAE:通过轨迹掩码与预测进行视频表征学习
TrackMAE: Video Representation Learning via Track Mask and Predict
把现成点跟踪器产生的稀疏轨迹当作显式重建目标与掩码先验,为视频自监督预训练注入细粒度运动信号;做视频表征学习或运动中心任务时,可直接复用其运动感知管状掩码与轨迹监督设计。
InternVideo-Next:迈向世界理解的视频模型
InternVideo-Next: Towards World-Understanding Video Models
提出 Encoder-Predictor-Decoder 框架,用条件扩散解码器注入图像语义先验,解决像素级 MVM 收敛难与语义冲突问题,为视频自监督预训练提供可复用的潜空间世界模型构建方案。
聚焦到感知表征学习:面向内窥镜视频分析的认知启发分层框架
Focus-to-Perceive Representation Learning: A Cognition-Inspired Hierarchical Framework for Endoscopic Video Analysis
针对内窥镜视频中静态病灶语义被运动偏置淹没的问题,提出教师先验自适应掩码加多视图稀疏采样来聚焦帧内病灶区域,再用跨视图掩码特征补全与注意力引导时序预测建模帧间演化;这套「先聚焦静态语义、再感知时序演化」的分层自监督预训练范式可直接迁移到其他标注稀缺、语义静态性强的专业视频域(如超声、手术、遥感时序)。