强化学习与具身智能 · CVPR2026 ·2026.06.03

面向零样本运动跟踪的人形生成式预训练

Humanoid Generative Pre-Training for Zero-Shot Motion Tracking

Zekun Qi、Xuchuan Chen、Jilong Wang、Chenghuai Lin、Yunrui Lian、Wenyao Zhang 等 9 人

与你有关的部分

用因果注意力 Transformer 在十亿级动作语料上做生成式预训练,替代浅层 MLP 跟踪器,为视觉驱动的全身运动跟踪与零样本泛化提供可扩展的骨干与数据规模化范式。

原文依据 a GPT-style Transformer with causal attention trained on a billion-scale motion corpus for whole-body control
可迁移到 motion trackinghumanoid whole-body controlmotion generation

摘要译文

由模型翻译 · 术语统一 · 请对照原文核对关键结论

我们提出 Humanoid-GPT,一种采用因果注意力的 GPT 风格 Transformer,在十亿级动作语料上训练用于全身控制。与以往受限于数据稀缺以及敏捷性—泛化性权衡的浅层 MLP 跟踪器不同,Humanoid-GPT 在一个 20 亿帧的重定向语料上进行预训练,该语料统一了所有主要动作捕捉数据集与大规模内部录制数据。同时扩展数据与模型容量,得到一个单一的生成式 Transformer,既能跟踪高度动态的行为,又对未见过的动作与控制任务实现前所未有的零样本泛化。大量实验与规模化分析表明,我们的模型确立了新的性能前沿,在跟踪高度动态且复杂动作的同时,展现出对未见任务的稳健零样本泛化能力。

英文原文摘要 811 字符

We introduce Humanoid-GPT, a GPT-style Transformer with causal attention trained on a billion-scale motion corpus for whole-body control. Unlike prior shallow MLP trackers constrained by scarce data and an agility-generalization trade-off, Humanoid-GPT is pre-trained on a 2B-frame retargeted corpus that unifies all major mocap datasets with large-scale in-house recordings. Scaling both data and model capacity yields a single generative Transformer that tracks highly dynamic behaviors while achieving unprecedented zero-shot generalization to unseen motions and control tasks. Extensive experiments and scaling analyses show that our model establishes a new performance frontier, demonstrating robust zero-shot generalization to unseen tasks while simultaneously tracking highly dynamic and complex motions.

标签

会议 CVPR2026
页码 20834-20844
Bibkey
来源 CVF Open Access