最小二乘损失

超越软标签：通过正交梯度匹配进行数据集蒸馏

Beyond Soft Label: Dataset Distillation via Orthogonal Gradient Matching

OGM 通过正交化梯度并匹配奇异向量方向，为数据集蒸馏提供了一种无需反向传播的梯度匹配新思路，可复用于其他需要高效匹配梯度方向的视觉任务。