Tag · 8 篇
运动生成
Superman:统一骨架与视觉的人体运动感知与生成
Superman: Unifying Skeleton and Vision for Human Motion Perception and Generation
提出视觉引导的运动分词器,利用3D骨架与视觉数据的几何对齐构建跨模态运动词汇表,使单一MLLM统一处理时序3D姿态估计与运动生成任务,为人体运动分析提供可复用的统一建模范式。
ProjFlow:基于流匹配的投影采样实现零样本精确空间运动控制
ProjFlow: Projection Sampling with Flow Matching for Zero-Shot Exact Spatial Motion Control
把线性空间约束下的采样建模为线性逆问题,并用编码骨架拓扑的运动学感知度量做投影,这一免训练采样器思路可迁移到视觉中的轨迹/关键点/姿态等结构化输出的可控生成与补全。
OpenT2M:基于开源、大规模、高质量数据的无冗余运动生成
OpenT2M: No-frill Motion Generation with Open-source, Large-scale, High-quality Data
2D-PRQ 按人体生物学部位划分并捕捉时空依赖的运动分词器,可复用于人体动作表示与长时序运动合成;OpenT2M 的物理可行性校验与多粒度过滤流程,为构建高质量人体运动数据提供可借鉴的自动化管线。
OpenDance:基于大规模互联网数据的多模态可控 3D 舞蹈生成
OpenDance: Multimodal Controllable 3D Dance Generation with Large-scale Internet Data
提出统一的掩码建模框架,通过解耦自编码器与多模态联合预测 Transformer,实现音乐、文本、关键点、轨迹任意组合条件下的 3D 舞蹈生成,为多条件可控人体运动生成提供了可复用的架构与大规模数据集。
面向文本到动作生成的下一尺度自回归模型
Next-Scale Autoregressive Models for Text-to-Motion Generation
把「下一 token 预测」换成「下一尺度预测」的由粗到细自回归框架,可直接迁移到视频/长时序视觉生成中,用跨尺度层级精修与尺度内双向重预测缓解长程结构建模与数据稀缺问题。
MotionMaster:可泛化的文本驱动运动生成与编辑
MotionMaster: Generalizable Text-Driven Motion Generation and Editing
把预训练多模态大语言模型微调成文本到人体运动(3D 骨骼序列)的生成与编辑模型,并用 FSQ 分词器把运动离散成 token 与语言共享嵌入空间;对做 3D 人体动作/动画的研究者,这是一条可直接复用的「LLM 当运动先验 + 离散运动 token」路线。
HandX:扩展双手运动与交互生成
HandX: Scaling Bimanual Motion and Interaction Generation
对手部精细动作与双手交互生成感兴趣的视觉研究者,可直接复用其解耦标注范式(先抽取接触事件、手指弯曲等运动特征,再用 LLM 生成语义描述)以及手部专用评测指标,用于构建条件运动生成的数据与评测流程。
HSI-GPT2:面向人-场景交互的双粒度大运动推理模型与扩散精炼
HSI-GPT2: A Dual-Granularity Large Motion Reasoning Model with Diffusion Refinement for Human-Scene Interaction
提出双粒度运动分词器与扩散解码器,将LLM的深层语义转化为物理合理的人体运动,为3D场景中的人-场景交互生成提供了可复用的运动表示与解码方案。