Tag · 8 篇
相机轨迹控制
WorldReel:具有一致几何与运动建模的 4D 视频生成
WorldReel: 4D Video Generation with Consistent Geometry and Motion Modeling
把点图、相机轨迹和稠密光流作为显式 4D 表示与 RGB 帧联合生成,为视频生成提供了一条用几何监督约束时空一致性的可复用路线;做视频扩散或世界模型的研究者可以直接借鉴其 4D 监督信号构造与合成/真实数据混合训练策略。
Vista4D:基于 4D 点云的视频重拍摄
Vista4D: Video Reshooting with 4D Point Clouds
把输入视频与目标相机统一锚定在 4D 点云表示上,用静态像素分割 + 4D 重建显式保留已见内容并提供稠密相机信号,再用重建的多视角动态数据训练以抵抗真实点云伪影——这套「4D 点云作为中间表示 + 合成数据增强鲁棒性」的思路可直接迁移到新视角合成、动态场景编辑与视频重渲染任务。
SymphoMotion:联合控制相机运动与物体动态的连贯视频生成
SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation
把相机位姿与物体级 3D 轨迹作为解耦条件注入视频扩散模型,为可控视频生成提供了「相机运动 vs 物体运动」分离建模的可复用范式,并配套 RealCOD-25K 真实配对数据可用于训练与评测。
Pantheon360:通过3D感知360度视频扩散驯服数字孪生生成
Pantheon360: Taming Digital Twin Generation via 3D-Aware 360deg Video Diffusion
利用360度全景视频生成和显式3D缓存作为几何脚手架,实现可控相机路径下的高保真、几何一致的场景生成,为数字孪生和仿真提供新思路。
FaceCam:通过尺度感知条件实现肖像视频相机控制
FaceCam: Portrait Video Camera Control via Scale-Aware Conditioning
提出一种人脸定制的尺度感知相机表示,无需3D先验即可实现确定性的相机条件控制,可复用于其他需要精确相机轨迹控制的视频生成任务,避免几何失真。
CineScene:以隐式三维作为电影级视频生成的有效场景表示
CineScene: Implicit 3D as Effective Scene Representation for Cinematic Video Generation
用 VGGT 把静态场景图像编码成隐式三维感知特征,再以额外上下文拼接的方式注入预训练文生视频模型,实现相机轨迹可控且场景一致的视频合成;这套「隐式三维先验 + 上下文拼接」的条件注入思路可迁移到任何需要几何一致性的可控视频生成任务。
CamDirector:面向长期连贯的视频轨迹编辑
CamDirector: Towards Long-Term Coherent Video Trajectory Editing
用混合 warping(静态区域渐进融合进 world cache 再按目标位姿渲染、动态区域直接 warp)生成全局一致的粗帧作为扩散精修的条件,可迁移到任何需要精确相机控制与长程一致性的视频生成/新视角合成任务。
BulletTime:视频生成中时间与相机位姿的解耦控制
BulletTime: Decoupled Control of Time and Camera Pose for Video Generation
把世界时间与相机轨迹作为独立条件,通过注意力层中的 4D 位置嵌入和自适应归一化注入视频扩散模型,为需要精确相机运镜与慢动作/时间重映射的可控视频生成提供了可复用的条件注入方案。