Tag · 5 篇
运动先验
UniLS:面向统一听与说的端到端音频驱动虚拟人
UniLS: End-to-End Audio-Driven Avatars for Unified Listening and Speaking
两阶段训练范式(先无音频自回归学习内在运动先验,再用双轨音频微调调制)为音频驱动的人脸/头部生成提供了可复用思路,尤其适合解决弱音频驱动信号下生成僵硬的问题;双轨音频端到端设定也可直接用于交互式数字人。
跟踪引导的 4D 生成:面向 3D 模型动画的基础跟踪器运动先验
Tracking-Guided 4D Generation: Foundation-Tracker Motion Priors for 3D Model Animation
将基础点跟踪器提取的稠密特征级运动先验注入多视图视频扩散模型的中间特征,并用于 4D-GS 的混合运动编码,为动态 4D 生成提供可复用的时序一致性约束手段。
ReMoGen:通过多源数据模块化学习的实时人体交互到反应生成
ReMoGen: Real-time Human Interaction-to-Reaction Generation via Modular Learning from Diverse Data
把大规模单人动作数据学到的通用运动先验,通过独立训练的 Meta-Interaction 模块迁移到人-人、人-场景等数据稀缺的交互域,并用帧级 Segment Refinement 在在线推理时融合新观测——这套「通用先验 + 轻量域适配 + 帧级精修」的模块化范式可直接复用到实时人体动作/反应生成与虚拟人驱动。
MaskAdapt:基于掩码不变先验的物理角色灵活运动适配学习
MaskAdapt: Learning Flexible Motion Adaptation via Mask-Invariant Prior for Physics-Based Characters
随机身体部位掩码加动作分布一致性正则化训练出的掩码不变先验,可迁移到视觉观测缺失下的姿态/动作估计与条件生成;两阶段残差策略则提供了一种只改动目标部位、保留其余行为的可控生成范式。
几何神经距离场用于学习人体运动先验
Geometric Neural Distance Fields for Learning Human Motion Priors
将人体运动先验建模为关节旋转、角速度、角加速度乘积空间上的神经距离场零水平集,为从部分2D/3D观测恢复3D人体运动提供了可复用的几何约束与自适应投影算法。