Tag · 3 篇
数据高效学习
分布 数据集与评测1图像编辑与可控生成1自监督与表征学习1
01 02 03
重新审视数据集蒸馏：关于软标签的硬真相
Rethinking Dataset Distillation: Hard Truths about Soft Labels
论文揭示了软标签评估下数据集蒸馏方法性能饱和的问题，并提出计算感知的样本难度选择指标 CAD-Prune 与对齐方法 CA2D，为视觉数据高效训练提供了可复用的样本筛选与评估协议。
少即是多：面向可控文本到视频生成的数据高效适配
Less is More: Data-Efficient Adaptation for Controllable Text-to-Video Generation
对做可控视频生成的研究者，这篇给出了一个反直觉的数据策略：用稀疏、低质量的合成数据微调扩散模型来学习物理相机参数（快门速度、光圈）控制，效果反而优于用真实照片级数据微调；其框架也可用于评估其他条件控制的数据选择。
没有图像也能学会看？视觉Transformer的程序化预热
Can You Learn to See Without Images? Procedural Warm-Up for Vision Transformers
提出用程序化生成的无视觉语义数据对ViT进行预热预训练，绕过图像块嵌入，可作为一种新的数据高效预训练策略，用于提升下游视觉任务的数据效率和收敛速度。