Tag · 2 篇
第一人称视频生成
01 02
HandWorld:以手为中心的统一视频动作生成
HandWorld: Hand-Centric Unified Video Action Generation
用双分支条件网络把视频域与动作域对齐成共享条件,再由两个解耦的扩散 Transformer 分别生成,这种「共享条件 + 分域解耦生成」的范式可直接迁移到其他需要联合生成视觉与结构化信号的设定(如轨迹+视频、音频+视频)。MANO 渲染手部作为中间输入提升跨域一致性的做法,对手物交互视频生成与动作预测都有参考价值。
EgoControl:基于3D全身姿态的可控第一人称视频生成
EgoControl: Controllable Egocentric Video Generation via 3D Full-Body Poses
把显式3D全身姿态序列作为扩散模型的条件信号,并设计同时编码全局相机运动与关节体运动的姿态表示,为视觉研究者提供了一种可复用的「姿态→视频」控制接口,可用于具身智能中的动作模拟与规划。