Tag · 16 篇
数据集蒸馏
UniRain：基于 RAG 数据集蒸馏与多目标重加权优化的统一图像去雨
UniRain: Unified Image Deraining with RAG-based Dataset Distillation and Multi-objective Reweighted Optimization
把 RAG 检索与数据集蒸馏结合，从多个公开去雨数据集中筛选高质量样本做混合训练，并用非对称 MoE 加多目标重加权优化统一处理雨条、雨滴、白天与夜间退化，可作为统一复原模型的数据筛选与专家路由范式复用。
重新审视数据集蒸馏：关于软标签的硬真相
Rethinking Dataset Distillation: Hard Truths about Soft Labels
论文揭示了软标签评估下数据集蒸馏方法性能饱和的问题，并提出计算感知的样本难度选择指标 CAD-Prune 与对齐方法 CA2D，为视觉数据高效训练提供了可复用的样本筛选与评估协议。
面向视觉语言数据集蒸馏的多模态分布匹配
Multimodal Distribution Matching for Vision-Language Dataset Distillation
把数据集蒸馏从单模态扩展到图文对，用联合嵌入空间聚类初始化合成样本、在权重空间插值出混合教师、并在单位超球面上做几何感知的联合分布匹配，这套流程可直接迁移到视觉侧的数据压缩与跨模态预训练数据筛选。
缓解基于扩散的数据集蒸馏中的分布偏移
Mitigating The Distribution Shift of Diffusion-based Dataset Distillation
对做数据集蒸馏或需要合成小规模训练集的人，这篇给出了两个可直接复用的手段：在扩散训练时加 L1 稀疏正则让模型学紧凑流形，以及在采样时对整个合成集同步去噪并加分布正则，替代逐样本顺序采样。
ManifoldGD：面向扩散式数据集蒸馏的免训练层次流形引导
ManifoldGD: Training-Free Hierarchical Manifold Guidance for Diffusion-Based Dataset Distillation
把每个去噪步的引导向量投影到由 IPC 质心邻域估计的局部切空间上，是一种可复用的免训练采样约束手段，可直接迁移到任何需要保持语义一致性的扩散引导或条件生成流程中。
可学习性引导的扩散用于数据集蒸馏
Learnability-Guided Diffusion for Dataset Distillation
提出可学习性引导的扩散生成框架，通过课程式增量合成数据减少冗余，可复用于任何需要高效训练数据合成的视觉任务，如图像分类、目标检测的数据压缩。
IMS3：打破基于扩散的数据集蒸馏中的分布聚合
IMS3: Breaking Distributional Aggregation in Diffusion-Based Dataset Distillation
该论文提出反演引导的微调与选择性采样，可提升扩散模型生成样本的判别性与多样性，对需要合成训练数据的视觉任务（如分类、检测）有直接参考价值。
HierAmp：面向生成式数据集蒸馏的由粗到细自回归语义放大
HierAmp: Coarse-to-Fine Autoregressive Amplification for Generative Dataset Distillation
把 VAR 的由粗到细多尺度生成当作层级语义的天然载体，在每个尺度注入类别词元并生成显著性图来引导合成，这个「尺度级条件注入 + 显著性引导」的机制可直接迁移到任何需要分层控制生成内容的视觉合成任务。
网格蒸馏：基于结构化生成网格的组合式图像蒸馏
Grid Distillation: Compositional Image Distillation via Structured Generative Grids
把数据集蒸馏的合成样本组织成高分辨率组合网格、再降采样并用 Stable Diffusion Turbo 单步重建细节，这套「网格布局 + 扩散先验补全」思路可迁移到任何需要把大量图像压缩成少量可训练样本的场景（如快速架构搜索、隐私受限数据发布）。
固定锚点不足够：面向数据集蒸馏的动态检索与持续同调
Fixed Anchors Are Not Enough: Dynamic Retrieval and Persistent Homology for Dataset Distillation
提出动态检索连接与持续拓扑对齐，可复用于其他需要匹配教师特征分布的数据集蒸馏或合成数据生成任务，以提升类内多样性和泛化性。
EVLF：面向生成式数据集蒸馏的早期视觉-语言融合
EVLF: Early Vision-Language Fusion for Generative Dataset Distillation
提出在编码器与生成主干之间插入轻量交叉注意力实现早期视觉-语言融合，可即插即用地改进任何基于扩散的数据集蒸馏流程，为视觉研究者提供了一种平衡文本语义与视觉潜变量的生成控制手段。
基于影响匹配的数据集蒸馏
Dataset Distillation by Influence Matching
用可微的样本级影响估计器替代逐步梯度/轨迹匹配来学习合成数据，视觉研究者可将其作为数据压缩与高效预训练的数据构造手段，并可直接迁移到图文检索等跨模态蒸馏场景。
DMGD：扩散模型中基于语义-分布匹配的无训练数据集蒸馏
DMGD: Train-Free Dataset Distillation with Semantic-Distribution Matching in Diffusion Models
用条件似然优化替代辅助分类器实现语义匹配，并以最优传输做分布匹配，为扩散模型中的无训练引导提供可复用方案；其分布近似匹配与贪心渐进匹配策略可迁移到任何需要低成本分布对齐的生成流程。
超越软标签：通过正交梯度匹配进行数据集蒸馏
Beyond Soft Label: Dataset Distillation via Orthogonal Gradient Matching
OGM 通过正交化梯度并匹配奇异向量方向，为数据集蒸馏提供了一种无需反向传播的梯度匹配新思路，可复用于其他需要高效匹配梯度方向的视觉任务。
通过建模多视觉模式分布实现平衡的数据集蒸馏
Balanced Dataset Distillation via Modeling Multiple Visual Pattern Distribution
把「每类单簇」的假设换成类内多视觉模式分布，用层次语义结构在中心与边缘各取子集做平衡 coreset，可直接迁移到视觉数据集压缩与高效训练流程中，并提供了信息覆盖与性能一致性的理论保证。
在极小预算下加速扩散模型训练：基于数据集蒸馏的视角
Accelerating Diffusion Model Training under Minimal Budgets: A Condensation-Based Perspective
把数据集蒸馏引入扩散模型训练：用扩散难度分数加区间采样挑出极小子集，再用语义/视觉表征增强条件信号，可在 0.8% ImageNet 上把 SiT-XL/2 训练步数压到 40k，为低预算下的扩散训练提供可直接复用的数据侧加速方案。