Tag · 4 篇
视频预训练
TraceGen：在3D轨迹空间中进行世界建模，实现跨具身视频学习
TraceGen: World Modeling in 3D Trace Space Enables Learning from Cross-Embodiment Videos
把世界模型的预测空间从像素空间换成紧凑的3D轨迹（trace）空间，用跨具身视频预训练出可迁移的3D运动先验，从而在只有5条目标机器人视频时也能少样本适配；对做视频世界模型、机器人策略学习和跨域表征的人来说，这是一个可复用的「用几何轨迹替代像素生成」的建模思路。
局部运动至关重要：一种用于从视频中进行强化学习预训练的分解-重组范式
Local Motion Matters: A Deconstruct-Recompose Paradigm for Reinforcement Learning Pre-training from Videos
从视频中通过跟踪局部点（原子动作）学习可迁移的运动表征，并用潜在动力学模型聚合，为视觉驱动的机器人策略学习提供预训练方案；其双注意力编码器与运动聚合词元设计可复用于视频运动理解与模仿学习。
从视频中学习统一潜动作空间：以动作为中心的循环一致性
Learning a Unified Latent Action Space from Videos with Action-centric Cycle Consistency
提出以动作为中心的循环一致性训练潜动作分词器，使从视频中学到的潜动作具有语义一致性并可跨本体对齐，为利用无动作标签视频数据训练机器人策略提供了可复用的表征学习手段。
CoMo：从互联网视频中学习连续潜运动以实现可扩展的机器人学习
CoMo: Learning Continuous Latent Motion from Internet Videos for Scalable Robot Learning
用早期时序差分与时间方向反转构造正负样本的时序对比学习，从互联网视频中无监督地提取连续潜运动表征，可直接为视觉策略学习生成伪动作标签，是一种可复用的视频表征预训练手段。