Tag · 3 篇
分布匹配
分布 自监督与表征学习1高效模型与推理加速1数据集与评测1
01 02 03
面向视觉语言数据集蒸馏的多模态分布匹配
Multimodal Distribution Matching for Vision-Language Dataset Distillation
把数据集蒸馏从单模态扩展到图文对，用联合嵌入空间聚类初始化合成样本、在权重空间插值出混合教师、并在单位超球面上做几何感知的联合分布匹配，这套流程可直接迁移到视觉侧的数据压缩与跨模态预训练数据筛选。
LinVideo：面向高效视频生成中 O(n) 注意力的后训练框架
LinVideo: A Post-Training Framework towards O(n) Attention in Efficient Video Generation
把视频扩散模型中部分自注意力模块替换为线性注意力，并用二分类器自动选择可替换层、用任意时刻分布匹配目标恢复性能，可直接迁移到任何 DiT 类视频/图像生成模型的推理加速上。
DMGD：扩散模型中基于语义-分布匹配的无训练数据集蒸馏
DMGD: Train-Free Dataset Distillation with Semantic-Distribution Matching in Diffusion Models
用条件似然优化替代辅助分类器实现语义匹配，并以最优传输做分布匹配，为扩散模型中的无训练引导提供可复用方案；其分布近似匹配与贪心渐进匹配策略可迁移到任何需要低成本分布对齐的生成流程。