Tag · 4 篇
视频自监督预训练
01 02 03 04
TrackMAE:通过轨迹掩码与预测进行视频表征学习
TrackMAE: Video Representation Learning via Track Mask and Predict
把现成点跟踪器产生的稀疏轨迹当作显式重建目标与掩码先验,为视频自监督预训练注入细粒度运动信号;做视频表征学习或运动中心任务时,可直接复用其运动感知管状掩码与轨迹监督设计。
TimeBridge:基于首尾联合嵌入与中间帧预测的自监督视频表征学习
TimeBridge: Self-Supervised Video Representation Learning via Start-End Joint Embedding and In-Between Frame Prediction
用首尾帧的联合嵌入加轻量解码器重建中间帧,把「时序变换建模」变成可复用的自监督预训练目标,可直接迁移到视频分割、部件传播等密集预测任务的特征初始化。
PriVi:面向野外灵长类行为的通用视频模型
PriVi: Towards a General-Purpose Video Model for Primate Behavior in the Wild
把 V-JEPA 这类视频自监督模型在领域数据(灵长类野外视频)上做继续预训练、再用冻结分类器评估的范式,可直接迁移到其他缺乏标注的细粒度视觉领域(动物行为、生态监测、医学视频),并给出了「领域级预训练」在标签稀缺时优于全量微调的经验证据。
用线性上下文学习器从动态三维场景中提取像素特征
Featurising Pixels from Dynamic 3D Scenes with Linear In-Context Learners
用现成网络估计的深度与运动线索图作为上下文,通过线性 in-context 学习从无标注视频中训练像素级、时序一致的特征描述子,可直接替换 VOS、表面法向估计、语义分割等密集预测任务中的骨干表征。