Tag · 13 篇
仿真到现实迁移
VIRAL:面向人形机器人移动操作的大规模视觉仿真到现实迁移
VIRAL: Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation
对做视觉的研究者,这篇给出了一个可复用的配方:用大规模平铺渲染 + 覆盖光照/材质/相机参数/图像质量/传感器延迟的视觉域随机化,配合真实到仿真的相机与灵巧手对齐,把纯 RGB 策略零样本迁移到真机;其中「算力规模(数十 GPU)是 sim-to-real 成败关键」这一结论值得在视觉策略训练中直接借鉴。
Texvent:基于文本提示的异步事件数据仿真
Texvent: Asynchronous Event Data Simulation via Text Prompt
用多模态大模型按文本提示渲染视频,再经物理仿真器转成异步事件流,为事件相机视觉任务提供低成本、可扩展的合成数据管线;其中自适应亮度感知帧插值与基于缓存的电压刷新机制可直接复用于事件数据增广与仿真器改进。
RoboTAG:基于拓扑对齐图的端到端机器人位姿估计
RoboTAG: End-to-end Robot Pose Estimation via Topological Alignment Graph
把机器人位姿估计建模成 2D/3D 双分支的拓扑对齐图,用闭环上的跨分支一致性监督替代大量标注,这个「图节点=相机/机器人状态、边=对齐关系」的构造方式可直接迁移到单目相机重定位、手眼标定和 sim-to-real 位姿回归任务中。
像素运动扩散正是机器人控制所需
Pixel Motion Diffusion is What We Need for Robot Control
把像素运动作为高层意图与低层动作之间的可解释中间表示,并用扩散模型同时建模两层控制器;做视觉-语言-动作(VLA)或机器人操作的研究者可以借鉴这种「运动中心」的中间抽象来缓解仿真到现实的域差,并复用其仅需少量微调即可真机迁移的流程。
PAM:面向仿真到现实手物交互视频生成的姿态-外观-运动引擎
PAM: A Pose-Appearance-Motion Engine for Sim-to-Real HOI Video Generation
把手物交互的位姿、外观、运动统一进一个可控视频生成引擎,并用生成视频作为合成数据反哺下游手部姿态估计,为视觉研究者提供了「生成即数据增强」的闭环范式,以及深度/分割/关键点多条件输入的具体消融结论。
ORV:以4D占用为中心的机器人视频生成
ORV: 4D Occupancy-centric Robot Video Generation
把4D语义占用的2D渲染作为软引导注入视频扩散生成,并用Action-Expert AdaLN把分块7-DoF动作对齐到视频潜空间,为动作条件视频生成提供了一种「稀疏控制—稠密像素」之间的中间表示桥梁,可直接复用到机器人数据引擎与策略学习的合成数据生成。
LEAD:最小化端到端驾驶中的学习者-专家不对称性
LEAD: Minimizing Learner-Expert Asymmetry in End-to-End Driving
论文把「特权专家与传感器学生之间的不对称」拆成可见性、不确定性与导航意图三个可度量的维度,并给出可操作的干预手段;做端到端驾驶或特权信息蒸馏的研究者可以直接复用这套不对称分析与 TFv6 学生策略设计,也可借鉴其把感知监督接入 sim-to-real 共享管线的做法。
InternData-A1:面向通用策略预训练的高保真合成数据
InternData-A1: Pioneering High-Fidelity Synthetic Data for Pre-training Generalist Policy
提供了一套全解耦、可组合的仿真数据生成流水线,可批量产出多本体、多技能、长程操作轨迹;对做视觉-语言-动作模型的人而言,这是验证「纯合成数据预训练能否替代真机数据」的可复用数据与评测设定。
GeCo-SRT:面向跨任务仿真到现实迁移的几何感知持续适应
GeCo-SRT: Geometry-aware Continual Adaptation for Cross-Task Sim-to-Real Transfer
把局部几何特征当作域不变、任务不变的迁移基底,并用几何感知的混合专家加优先经验回放来累积跨任务仿真到现实的经验,这套「几何先验+专家路由+经验回放」的组合可直接迁移到视觉策略的持续域适应与机器人操作策略学习中。
Gallant:面向三维受限地形的基于体素栅格的人形机器人运动与局部导航
Gallant: Voxel Grid-based Humanoid Locomotion and Local-navigation across 3-D Constrained Terrains
用体素化激光雷达点云替代深度图/高程图作为策略输入,并配 z 分组 2D CNN 处理体素栅格,为视觉感知驱动的具身控制提供了更完整的三维感知表征与可扩展的激光雷达仿真训练管线。
DemoFunGrasp:基于示范编辑强化学习的通用灵巧功能抓取
DemoFunGrasp: Universal Dexterous Functional Grasping via Demonstration-Editing Reinforcement Learning
将功能抓取条件分解为抓取风格与可供性,并用单条示范编辑重构强化学习问题,为视觉驱动的机器人操作提供样本高效的多任务学习范式;结合视觉语言模型进行规划,实现指令跟随的自主抓取。
Arcadia:面向具身终身学习的全生命周期框架
Arcadia: Toward a Full-Lifecycle Framework for Embodied Lifelong Learning
把生成式场景重建与增强当作闭环中的数据引擎,为导航与操作策略持续生成可扩展的仿真训练场景,并用仿真到现实的自适应评估回灌真实数据,这一「生成式仿真更新」环节对做具身视觉与仿真数据扩增的研究者可直接复用。
AdaDexTrack:面向自适应与可泛化灵巧操作跟踪的动态调制
AdaDexTrack: Dynamic Modulation for Adaptive and Generalizable Dexterous Manipulation Tracking
把语言条件下的灵巧操作重构为「调制式跟踪」:用蒸馏得到的通才跟踪器承载技能,再用 RL 训练的调制器在线修正参考轨迹、物体潜表示与位置目标,可直接借鉴到视觉驱动的机器人操作与手-物交互策略中,尤其是缓解噪声参考与重定向偏差导致的漂移。