Tag · 6 篇
分布匹配蒸馏
WorldStereo:通过三维几何记忆连接相机引导视频生成与场景重建
WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories
把增量更新的点云作为全局几何记忆、用3D对应关系约束注意力感受野,为相机可控视频扩散提供了一种可复用的几何条件注入方式;同时其蒸馏骨干网络免联合训练的轻量控制分支设计,对做可控生成与少步采样的人有直接参考价值。
VDOT:通过最优传输蒸馏实现高效统一视频创作
VDOT: Efficient Unified Video Creation via Optimal Transport Distillation
将最优传输距离引入分布匹配蒸馏,替代KL散度以缓解少步生成中的梯度崩溃问题,为扩散模型加速提供可复用的训练目标设计。
Uni-DAD:面向少步少样本图像生成的扩散模型统一蒸馏与适配
Uni-DAD: Unified Distillation and Adaptation of Diffusion Models for Few-step Few-shot Image Generation
把扩散蒸馏与域适配合并成单阶段训练:用双域分布匹配蒸馏(源教师+目标教师)保住源域多样性,再用多头GAN损失在少样本下稳定训练,可直接用于少样本域适配与主体驱动个性化,在少于4步采样下逼近两阶段流程的质量。
面向快速视频生成的转移匹配蒸馏
Transition Matching Distillation for Fast Video Generation
把扩散/流模型的骨干网络拆成「主骨干 + 轻量 flow head」,在每个外层转移步内用 flow head 做多次内层流更新,再配合分布匹配蒸馏,可作为一种通用的少步蒸馏结构复用到图像或视频扩散加速上。
奖励强制:基于奖励分布匹配蒸馏的高效流式视频生成
Reward Forcing: Efficient Streaming Video Generation with Rewarded Distribution Matching Distillation
用 EMA 融合被逐出滑动窗口的 token 替代静态 sink token,解决少步蒸馏流式视频生成中初始帧复制、运动退化的问题;再用 VLM 打分构造奖励偏置的分布匹配蒸馏,把教师模型的运动动态蒸馏进学生模型,可直接迁移到任何流式/长视频扩散蒸馏管线。
分阶段 DMD:基于子区间内分数匹配的少步分布匹配蒸馏
Phased DMD: Few-step Distribution Matching Distillation via Score Matching within Subintervals
把 SNR 区间切分并逐段做分布匹配与分数匹配蒸馏,配合 MoE 提升少步生成器容量,可直接用于把大规模文生图/文生视频扩散模型压缩成少步采样器,同时缓解随机梯度截断带来的多样性下降与运动动态变慢问题。