Tag · 2 篇
人类视频预训练
01 02
通过人类视频视觉-物理对齐的空间感知VLA预训练
Spatial-Aware VLA Pretraining through Visual-Physical Alignment from Human Videos
从大规模人类演示视频中自动抽取3D视觉与3D动作标注，作为对齐2D观测与3D空间推理的监督信号；该「视觉-物理对齐预训练」思路可迁移到任何需要从2D视觉输入推断3D动作的视觉-语言-动作模型，为视觉表征注入3D感知特征。
联合对齐潜动作：面向野外可扩展视觉-语言-动作预训练
Joint-Aligned Latent Action: Towards Scalable VLA Pretraining in the Wild
JALA 提出一种与逆动力学和真实动作联合对齐的预测性动作嵌入，绕开完整视觉动态重建，为从无标注人类视频中学习可迁移的潜动作表征提供了可复用方案，可直接用于 VLA 预训练的数据扩展。