Tag · 1 篇
Progressive Mask Distillation for Self-supervised Video Representation
把「由易到难」的课程式蒸馏引入掩码视频建模:用低掩码率学生模型的知识去指导高掩码率学生模型,并配合区域级损失加权与跨层特征对齐,可直接迁移到任何 MAE 类视频/图像预训练框架中提升高掩码率下的细节重建。