Tag · 2 篇
预训练策略
分布 底层视觉与图像复原1自监督与表征学习1
01 02
无时序之时：面向时空超分辨率的伪时序表征
Time Without Time: Pseudo-Temporal Representation for Space-Time Super-Resolution
把单张图像复制成伪时序视频、并在各帧独立零填充随机像素区域，从而用纯图像数据集预训练 STVSR 网络；这种「无需真实视频即可预训练视频复原模型」的构造方式，可直接迁移到去噪、去模糊、帧插值等需要时序聚合的底层视觉任务。
没有图像也能学会看？视觉Transformer的程序化预热
Can You Learn to See Without Images? Procedural Warm-Up for Vision Transformers
提出用程序化生成的无视觉语义数据对ViT进行预热预训练，绕过图像块嵌入，可作为一种新的数据高效预训练策略，用于提升下游视觉任务的数据效率和收敛速度。