Tag · 1 篇
Mitigating The Distribution Shift of Diffusion-based Dataset Distillation
对做数据集蒸馏或需要合成小规模训练集的人，这篇给出了两个可直接复用的手段：在扩散训练时加 L1 稀疏正则让模型学紧凑流形，以及在采样时对整个合成集同步去噪并加分布正则，替代逐样本顺序采样。