Tag · 6 篇
扩散模型蒸馏
以高质量合成数据集扩展指令式视频编辑
Scaling Instruction-Based Video Editing with a High-Quality Synthetic Dataset
用「图像编辑器 + 上下文视频生成器 + 智能体过滤」的流水线批量合成百万级指令式视频编辑数据,并用蒸馏模型加时序增强器压低生成成本;做视频编辑或可控生成的人可以直接复用这套数据构造与课程学习训练范式。
Proxy-Tuning:为多模态自回归模型定制主体驱动图像生成能力
Proxy-Tuning: Tailoring Multimodal Autoregressive Models for Subject-Driven Image Generation
用扩散模型作为「代理监督」微调多模态自回归模型,使其获得主体驱动生成能力,并揭示弱到强泛化现象;对做个性化生成的人,这是一条绕开扩散架构、把 AR 模型拉进主体定制任务的可行路径,也提示可用强模型监督弱模型来补齐架构短板。
LinVideo:面向高效视频生成中 O(n) 注意力的后训练框架
LinVideo: A Post-Training Framework towards O(n) Attention in Efficient Video Generation
把视频扩散模型中部分自注意力模块替换为线性注意力,并用二分类器自动选择可替换层、用任意时刻分布匹配目标恢复性能,可直接迁移到任何 DiT 类视频/图像生成模型的推理加速上。
InstantRetouch:基于双边空间的高效高保真指令引导图像修饰
InstantRetouch: Efficient and High-Fidelity Instruction-Guided Image Retouching with Bilateral Space
用低分辨率双边网格预测仿射变换替代像素/潜变量编辑,把多步扩散模型通过变分分数蒸馏蒸馏进该框架,为视觉研究者提供了一条兼顾保真度与延迟的指令引导编辑路径,可直接迁移到其他需要内容解耦的局部调整任务。
FastLightGen:更少步数与参数的高效轻量视频生成
FastLightGen: Fast and Light Video Generation with Fewer Steps and Parameters
把「少步采样蒸馏」与「参数剪枝」放进同一个教师-学生框架里联合优化,并指出先构造一个最优教师模型是关键;做视频扩散加速时可以直接复用这套联合蒸馏流程与 4 步 + 30% 剪枝的配置经验。
自适应视频蒸馏:缓解少步生成中的过饱和与时序坍缩
Adaptive Video Distillation: Mitigating Oversaturation and Temporal Collapse in Few-Step Generation
针对视频扩散模型蒸馏中的过饱和与时序坍缩问题,提出自适应回归损失和时序正则化损失,可直接用于改进少步视频生成模型的训练稳定性与运动真实性。