Tag · 3 篇
跨本体迁移
01 02 03
UniDex:面向通用灵巧手控制的机器人基础套件
UniDex: A Robot Foundation Suite for Universal Dexterous Hand Control from Egocentric Human Videos
对做视觉研究的人,可复用点在于:用显式 3D 点云(并遮掉人手)作为 VLA 的视觉输入来缩小人-机视觉域差,以及 FAAS 这种把功能相似的执行器映射到共享坐标的统一动作空间,可直接迁移到跨本体策略学习与人类视频到机器人轨迹的重定向流程。
面向三维灵巧操作的结构化动作 Transformer
Structural Action Transformer for 3D Dexterous Manipulation
把动作块从时序序列重构为无序的逐关节轨迹序列,并用关节码本编码运动学先验,使 Transformer 能以变长序列原生处理不同自由度的机械手;这一「结构化动作表示 + 点云条件流匹配」的思路可迁移到任何需要跨本体泛化的视觉-动作策略学习。
从视频中学习统一潜动作空间:以动作为中心的循环一致性
Learning a Unified Latent Action Space from Videos with Action-centric Cycle Consistency
提出以动作为中心的循环一致性训练潜动作分词器,使从视频中学到的潜动作具有语义一致性并可跨本体对齐,为利用无动作标签视频数据训练机器人策略提供了可复用的表征学习手段。