Tag · 8 篇
扩散蒸馏
一次擦除即止:擦除任意目标而不引入意外内容
You Only Erase Once: Erasing Anything without Bringing Unexpected Content
用实体分割模型构建的杂物检测器与上下文一致性损失,在无配对真实图像上监督扩散模型做目标擦除,可直接迁移到 inpainting/物体移除任务的数据构造与约束设计;扩散蒸馏得到的少步擦除模型也为编辑类扩散模型的推理加速提供参考。
WaDi:权重方向感知蒸馏用于一步图像合成
WaDi: Weight Direction-aware Distillation for One-step Image Synthesis
把蒸馏中权重变化拆成方向与范数两部分,并用可学习低秩旋转矩阵建模方向变化,这一思路可直接迁移到任意扩散/流匹配模型的一步或少步蒸馏,也可作为参数高效微调适配器复用。
Uni-DAD:面向少步少样本图像生成的扩散模型统一蒸馏与适配
Uni-DAD: Unified Distillation and Adaptation of Diffusion Models for Few-step Few-shot Image Generation
把扩散蒸馏与域适配合并成单阶段训练:用双域分布匹配蒸馏(源教师+目标教师)保住源域多样性,再用多头GAN损失在少样本下稳定训练,可直接用于少样本域适配与主体驱动个性化,在少于4步采样下逼近两阶段流程的质量。
面向快速视频生成的转移匹配蒸馏
Transition Matching Distillation for Fast Video Generation
把扩散/流模型的骨干网络拆成「主骨干 + 轻量 flow head」,在每个外层转移步内用 flow head 做多次内层流更新,再配合分布匹配蒸馏,可作为一种通用的少步蒸馏结构复用到图像或视频扩散加速上。
StreamDiT:实时流式文本到视频生成
StreamDiT: Real-Time Streaming Text-to-Video Generation
把流匹配训练与移动缓冲区结合,使 DiT 能逐块流式生成视频;配套的分段多步蒸馏把 NFE 压到缓冲区块数,为视觉研究者提供了把任意扩散/流模型转成实时流式生成器的可复用范式。
PortraitDirector:面向可控实时人脸重演的分层解耦框架
PortraitDirector: A Hierarchical Disentanglement Framework for Controllable and Real-time Facial Reenactment
把面部运动拆成空间层(头姿+局部表情)与语义层(情绪)再重组为运动潜码,配合扩散蒸馏与因果注意力实现 20FPS 流式人脸重演,为可控人脸编辑提供了可复用的分层解耦与实时化方案。
面向大规模分层图像生成与编辑的掩码区域 Transformer
Masked Region Transformer for Layered Image Generation and Editing at Scale
把「选择性词元掩码」作为统一接口,让 text-to-layers、image-to-layers、layers-to-layers 共享同一个扩散框架,可直接迁移到需要分层/可编辑输出的生成任务;overflow-aware canvas layer 处理超出画布边界的图层与半透明背景合成,是分层生成中值得复用的表示技巧。
掩码自回归变分加速:快速推理使强化学习变得实用
Masked Auto-Regressive Variational Acceleration: Fast Inference Makes Practical Reinforcement Learning
把 MAR 的「外层自回归解掩码 + 内层扩散去噪链」两级推理蒸馏成单步生成,并用基于分数的变分目标保住样本质量;做少步扩散/自回归生成或想把 RL 后训练接到生成模型上的人可直接复用该蒸馏目标与 MARVAL-RL 流程。