Tag · 6 篇
视频表征学习
通过预测随时间变化的三维高斯进行跟踪
Tracking by Predicting 3-D Gaussians Over Time
把视频编码为一组随时间运动的高斯泼溅,用重建式自监督预训练让跟踪能力自发涌现;做视频自监督表征或零样本点跟踪的研究者可直接复用这一归纳偏置与高斯轨迹投影到图像平面的读出方式。
无时序之时:面向时空超分辨率的伪时序表征
Time Without Time: Pseudo-Temporal Representation for Space-Time Super-Resolution
把单张图像复制成伪时序视频、并在各帧独立零填充随机像素区域,从而用纯图像数据集预训练 STVSR 网络;这种「无需真实视频即可预训练视频复原模型」的构造方式,可直接迁移到去噪、去模糊、帧插值等需要时序聚合的底层视觉任务。
循环视频掩码自编码器
Recurrent Video Masked Autoencoders
用 Transformer 循环网络替代时空注意力做视频掩码自编码,在长时序上以线性计算代价稳定传播特征,可作为视频骨干预训练方案直接替换 VideoMAE/V-JEPA 的编码器。
渐进式掩码蒸馏用于自监督视频表征
Progressive Mask Distillation for Self-supervised Video Representation
把「由易到难」的课程式蒸馏引入掩码视频建模:用低掩码率学生模型的知识去指导高掩码率学生模型,并配合区域级损失加权与跨层特征对齐,可直接迁移到任何 MAE 类视频/图像预训练框架中提升高掩码率下的细节重建。
InternVideo-Next:迈向世界理解的视频模型
InternVideo-Next: Towards World-Understanding Video Models
提出 Encoder-Predictor-Decoder 框架,用条件扩散解码器注入图像语义先验,解决像素级 MVM 收敛难与语义冲突问题,为视频自监督预训练提供可复用的潜空间世界模型构建方案。
从静态到动态:探索自监督图像到视频表征迁移学习
From Static to Dynamic: Exploring Self-supervised Image-to-Video Representation Transfer Learning
提出在冻结的图像预训练编码器上只加一个轻量投影层,用时序循环一致性与语义可分性约束做自监督迁移,为视觉研究者提供了一种低成本把图像骨干转成视频表征的通用方案,可直接套用到自有图像预训练模型上。