Tag · 7 篇
视频扩散先验
VDFE:基于非侵入式视频扩散先验的差异感知3D场景编辑,实现多视图一致性与高效性
VDFE: Difference-Aware 3D Scene Editing with Non-Intrusive Video Diffusion Priors for Multi-View Consistency and Efficiency
将视频扩散模型作为非侵入式先验,通过最优控制优化无噪声编辑轨迹,并利用流差异精确定位编辑区域,为3D场景编辑提供多视图一致且高效的新思路。
MotionCrafter:基于 4D 变分自编码器的稠密几何与运动重建
MotionCrafter: Dense Geometry and Motion Reconstruction with a 4D VAE
把稠密 3D 点图与 3D 场景流放进同一坐标系联合表示,并训练专用 4D VAE 来承载扩散先验,可直接复用到单目视频的 4D 重建与稠密运动估计;其「不必强行对齐 RGB VAE 潜空间、改用数据归一化与训练策略」的结论,对任何想把视频生成先验迁移到几何/运动回归任务的工作都是可借鉴的设计经验。
LightMover:带颜色与强度控制的生成式光照移动
LightMover: Generative Light Movement with Color and Intensity Controls
把光照编辑建模为视觉词元空间中的序列到序列预测,复用视频扩散先验,无需重新渲染即可改变光源位置、颜色与强度;其自适应词元剪枝(保留空间信息词元、压缩非空间属性)可迁移到其他基于词元的可控生成任务以缩短控制序列。
让雪落下!基于物理引导分数蒸馏为 3D 高斯场景添加动态天气效果
Let it Snow! Animating 3D Gaussian Scenes with Dynamic Weather Effects via Physics-Guided Score Distillation
把物理仿真当作运动先验去引导 Video-SDS,为静态 3DGS 场景注入物理合理的多粒子动态(雪、雨、雾、沙尘),这套「物理引导 + 分数蒸馏联合优化运动与外观」的框架可直接迁移到 3D 场景动态化、流体/粒子特效生成等任务。
任意到任意的 3D 扩散模型与知识迁移:一项放疗计划研究
Any2Any 3D Diffusion Models with Knowledge Transfer: A Radiotherapy Planning Study
把预训练视频扩散骨干的时空先验迁移到体素级 3D 预测任务上,并用「模态+角色」感知的 Any2Any 条件接口替代交叉注意力,为视觉研究者提供了一个可复用的思路:如何在不改动骨干结构的前提下,把异构条件(图像、掩码、束流描述符)统一注入扩散模型,并用奖励后训练对齐领域偏好。
AniMimic:从视频先验中模仿三维动画
AniMimic: Imitating 3D Animation from Video Priors
把视频扩散模型当作运动先验,通过可微渲染反推网格的骨骼与关节参数,再用可微软体仿真细化形变;这条「视频先验→可微渲染监督→物理细化」的管线可直接迁移到单目视频驱动网格动画、4D 重建与角色动画生成。
Ani3DHuman:基于自引导随机采样的逼真三维人体动画
Ani3DHuman: Photorealistic 3D Human Animation with Self-guided Stochastic Sampling
提出自引导随机采样策略,解决扩散模型在分布外输入(如粗糙渲染)下的采样失败问题,可迁移到其他需要高质量恢复或超分的视觉任务;同时分层运动表示将刚性运动与非刚性残差解耦,为动态人体建模提供可复用思路。