Tag · 6 篇
蒸馏
UniSH:单次前馈中统一场景与人体重建
UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass
提出一种利用无标注真实视频的两阶段训练范式:先在合成数据上学习粗定位,再通过优化 SMPL 网格与人体点云的几何对应关系在真实数据上微调,并蒸馏专家深度模型的高频细节来提升人体表面质量。该思路可直接迁移到其他需要弥合 sim-to-real 差距的 3D 重建任务。
语言引导的单步扩散模型用于夜间眩光去除
Language-Guided One-Step Diffusion Model for Nighttime Flare Removal
把视觉语言模型提取的细粒度文本语义作为条件注入单步扩散,并用语义感知分布蒸馏稳定一步采样,可迁移到其他强退化复原任务(如夜间去雨、去雾、镜头污渍去除)中,用语义先验约束被遮挡区域的生成。
InstantViR:基于蒸馏扩散先验的实时视频逆问题求解器
InstantViR: Real-Time Video Inverse Problem Solver with Distilled Diffusion Prior
把双向视频扩散教师蒸馏成因果自回归学生,单次前向即可完成视频修复,无需测试时迭代优化;这套「先验驱动蒸馏 + 轻量变分自编码器」的范式可直接迁移到其他需要实时推理的扩散先验逆问题求解器。
用于文本到图像编辑的 Delta 整流流采样
Delta Rectified Flow Sampling for Text-to-Image Editing
DRFS 提出一种基于蒸馏的无反转编辑方法,通过显式建模源与目标速度场差异并引入时间相关偏移项,缓解过平滑伪影,可复用于 rectified flow 模型的文本引导编辑,无需架构修改。
DUO-VSR:面向单步视频超分辨率的双流蒸馏
DUO-VSR: Dual-Stream Distillation for One-Step Video Super-Resolution
把分布匹配蒸馏与对抗监督(RFS-GAN)结合成双流蒸馏,可将任意多步扩散 VSR 模型压缩到单步推理;其渐进式引导蒸馏初始化与偏好引导精修流程,也可迁移到其他扩散复原任务(去噪、去模糊)的少步加速上。
编排动态物体世界
Choreographing a World of Dynamic Objects
把 2D 视频生成模型中的欧拉表示蒸馏成拉格朗日运动信息,从而无需类别专属数据即可合成多体 4D 动态;这一「从视频先验提取运动」的蒸馏思路可直接迁移到动态场景重建、运动迁移与机器人策略生成。