Tag · 5 篇
文本到动作生成
SignPR:一种用于手语生成的渐进式矢量量化扩散框架
SignPR: A Progressive Vector-Quantized Diffusion Framework for Sign Language Production
把 VQVAE 的离散语义表征与分块因果扩散结合,先出语义一致的整体姿态再逐步细化运动细节,这套「离散 token + 渐进细化 + 因果分块」的生成范式可迁移到人体动作生成、手势驱动和长序列姿态合成等视觉任务。
ParTY:面向富有表现力文本到动作合成的部位引导
ParTY: Part-Guidance for Expressive Text-to-Motion Synthesis
其「先分部位生成、再以部位引导整体生成」的两阶段思路与部位感知的文本嵌入对齐,可迁移到细粒度可控的人体动作/姿态生成与部位级文本定位任务。
打开动作之门:面向开放词表动作生成的原子动作分解与重组
Open the Motion Door: Atomic Motion Decomposition and Recomposition for Open-Vocabulary Motion Generation
把开放词表文本拆成可复用的原子动作单元再重组,这一「分解-重组」思路可直接迁移到开放词表视频生成、组合式动作合成与长时序动作拼接,缓解域外文本泛化差的问题。
MoLingo:面向文本到人体动作生成的动作-语言对齐
MoLingo: Motion-Language Alignment for Text-to-Human Motion Generation
提出用帧级文本标签训练语义对齐的运动编码器,使潜空间更利于扩散;并验证多token交叉注意力注入文本条件优于单token,可迁移到其他条件生成任务(如文本到图像/视频)的潜空间设计与条件注入。
LLaMo:以连续自回归 token 扩展预训练语言模型实现统一的动作理解与生成
LLaMo: Scaling Pretrained Language Models for Unified Motion Understanding and Generation with Continuous Autoregressive Tokens
把人体动作编码进因果连续潜空间、用轻量 flow-matching 头在 decoder-only 骨干上保留下一 token 预测,从而绕开离散量化的抖动并实现 30FPS 流式生成——这套「连续 token + MoT 隔离模态」的做法可直接迁移到视频/动作序列的视觉-语言统一建模。