Tag · 2 篇
3D-场景表示
分布 强化学习与具身智能13D 视觉与重建1
01 02
IGen:从开放世界图像可扩展地生成机器人学习数据
IGen: Scalable Data Generation for Robot Learning from Open-World Images
把开放世界单张图像转成可用于操作策略训练的视频-动作对:先用 3D 场景表示重建,再由 VLM 规划并输出 SE(3) 末端位姿,最后渲染时序一致的观测。做视觉-动作数据合成、VLA 预训练或 sim-to-real 的工作可以直接复用这条「图像→3D→位姿→视频」的流水线来扩充训练集。
逐 token 对齐文本、图像与三维结构
Aligning Text, Images and 3D Structure Token-by-Token
把结构化 3D 场景当作一种可 tokenize 的模态,用统一的 LLM 自回归建模语言、图像与 3D 场景,为单图重建完整 3D 场景和 3D 目标识别提供了可复用的 tokenizer 与训练配方。