Tag · 23 篇

模仿学习

分布 强化学习与具身智能22自动驾驶与遥感1
01
强化学习与具身智能 / CVPR2026

面向三维灵巧操作的结构化动作 Transformer

Structural Action Transformer for 3D Dexterous Manipulation

把动作块从时序序列重构为无序的逐关节轨迹序列,并用关节码本编码运动学先验,使 Transformer 能以变长序列原生处理不同自由度的机械手;这一「结构化动作表示 + 点云条件流匹配」的思路可迁移到任何需要跨本体泛化的视觉-动作策略学习。

流匹配模仿学习跨本体迁移
02
强化学习与具身智能 / CVPR2026

SocialNav:训练受人类启发的社会感知具身导航基础模型

SocialNav: Training Human-Inspired Foundation Model for Socially-Aware Embodied Navigation

提出基于流匹配的强化学习框架 SAFE-GRPO,将社会合规性作为奖励信号融入导航策略优化,为视觉导航中的社会规范学习提供了可复用的训练范式。

视觉语言动作模型模仿学习流匹配
03
强化学习与具身智能 / CVPR2026

面向全身移动操作的可扩展轨迹生成

Scalable Trajectory Generation for Whole-Body Mobile Manipulation

AutoMoMa 的 GPU 加速轨迹生成框架为视觉-语言-动作(VLA)模型和模仿学习策略提供了大规模、物理可行的训练数据,其 AKR 建模与并行优化思路可复用于其他需要生成高质量轨迹的具身智能任务。

轨迹优化模仿学习全身移动操作
04
强化学习与具身智能 / CVPR2026

SPEAR-1:通过 3D 理解超越机器人演示数据规模

SPEAR-1: Scaling Beyond Robot Demonstrations via 3D Understanding

将 2D 图像-语言预训练的 VLM 通过 3D 标注数据增强为能单图预测物体 3D 坐标的 3D 感知 VLM,并作为机器人基础模型的感知前端,为视觉研究者提供了用廉价非机器人数据注入 3D 理解以提升具身控制可靠性的可复用范式。

视觉语言模型3D-空间推理机器人基础模型
05
强化学习与具身智能 / CVPR2026

RoboWheel:面向跨形态机器人学习的真实世界人类演示数据引擎

RoboWheel: A Data Engine from Real-World Human Demonstrations for Cross-Embodiment Robotic Learning

从单目RGB(D)视频重建手物交互并重定向为跨形态机器人动作,为视觉研究者提供了一条将人类演示视频转化为机器人训练数据的可复用管线,其中基于强化学习的接触与穿透约束优化器可用于提升手物姿态估计的物理合理性。

视觉-语言-动作模型模仿学习手物交互重建
06
强化学习与具身智能 / CVPR2026

重新审视相机选择:机器人操作中鱼眼相机特性的实证研究

Rethinking Camera Choice: An Empirical Study on Fisheye Camera Properties in Robotic Manipulation

对做具身视觉的人,这篇给出了腕部鱼眼相机在模仿学习中的系统性选型依据:宽视场提升空间定位但依赖场景视觉复杂度,且跨相机迁移失败的主因是尺度过拟合,可用随机尺度增强(RSA)缓解——这提示视觉骨干的尺度不变性设计对策略泛化至关重要。

模仿学习鱼眼相机随机尺度增强
07
强化学习与具身智能 / CVPR2026

RehearseVLA:面向 VLA 的物理一致世界模型模拟后训练

RehearseVLA: Simulated Post-Training for VLAs with Physically-Consistent World Model

用世界模型生成时序一致的未来视觉观测来替代真实环境交互,为 VLA 做安全的 RL 后训练;其中 VLM 引导的即时反射器同时充当连续奖励与动作终止判别器,这一『视觉预测+奖励/终止联合建模』思路可迁移到任何需要在线评估的视觉策略学习场景。

世界模型视觉语言动作模型模仿学习
08
强化学习与具身智能 / CVPR2026

NIL:无数据模仿学习

NIL: No-data Imitation Learning

用预训练视频 ViT 的嵌入相似度加分割掩码相似度构造无判别器的模仿奖励,把 2D 生成视频当作 3D 物理仿真中技能学习的视觉监督信号,为视觉表征直接驱动具身控制提供了可复用范式。

视频扩散模型模仿学习物理仿真
09
强化学习与具身智能 / CVPR2026

基于多模态潜变量回放与增量调整的终身模仿学习

Lifelong Imitation Learning with Multimodal Latent Replay and Incremental Adjustment

在多模态潜空间而非原始像素上做经验回放,可大幅压缩视觉-语言-状态表征的存储开销,为视觉策略的持续学习提供可复用的记忆机制;角度间隔约束正则化任务嵌入演化的思路也可迁移到视觉表征的增量学习。

终身学习经验回放模仿学习
10
强化学习与具身智能 / CVPR2026

面向机器人操作的语言锚定解耦动作表征

Language-Grounded Decoupled Action Representation for Robotic Manipulation

把高层视觉-语言表征与低层动作控制解耦,用语言作为语义桥梁,并以翻译/旋转/夹爪三类动作基元作为细粒度中间层;对做 VLA 或视觉-语言条件策略的研究者,这套「语义引导软标签对比学习 + 课程式自适应权重」可直接迁移到自己的动作头对齐与跨任务泛化上。

视觉-语言-动作模型对比学习模仿学习
11
自动驾驶与遥感 / CVPR2026

LEAD:最小化端到端驾驶中的学习者-专家不对称性

LEAD: Minimizing Learner-Expert Asymmetry in End-to-End Driving

论文把「特权专家与传感器学生之间的不对称」拆成可见性、不确定性与导航意图三个可度量的维度,并给出可操作的干预手段;做端到端驾驶或特权信息蒸馏的研究者可以直接复用这套不对称分析与 TFv6 学生策略设计,也可借鉴其把感知监督接入 sim-to-real 共享管线的做法。

模仿学习闭环评测特权信息蒸馏
12
强化学习与具身智能 / CVPR2026

LAOF:基于光流约束的鲁棒潜动作学习

LAOF: Robust Latent Action Learning with Optical Flow Constraints

把光流当作无需人工标注的动作驱动伪监督信号,用来学习对背景干扰鲁棒的潜动作表征,可直接用于视觉-动作预训练与下游模仿学习/强化学习策略初始化。

潜动作学习光流约束模仿学习
13
强化学习与具身智能 / CVPR2026

InterPrior:面向基于物理的人-物体交互的可扩展生成式控制

InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions

提出一种从大规模模仿预训练到强化学习微调的可扩展生成式控制框架,利用多模态观测和高级意图重建全身运动,并通过物理扰动数据增强提升泛化能力,可为人形机器人的视觉-运动控制提供可复用的训练范式。

模仿学习变分策略强化学习微调
14
强化学习与具身智能 / CVPR2026

GraspLDP:通过潜变量扩散实现可泛化的抓取策略

GraspLDP: Towards Generalizable Grasping Policy via Latent Diffusion

把抓取位姿先验与抓取性(graspness)自监督重建目标注入潜扩散策略的反向去噪过程,可作为在视觉-动作策略中嵌入几何/任务先验的通用手段,对做机器人操作与视觉-动作联合建模的研究者可直接复用。

扩散策略模仿学习抓取位姿先验
15
强化学习与具身智能 / CVPR2026

FloVerse:户型图引导的多模态导航

FloVerse: Floor Plan-Guided Multi-Modal Navigation

把户型图作为紧凑空间先验注入具身导航策略,并用掩码模态建模训练扩散式多模态目标推理模块,可复用到任何需要跨模态目标定位与安全执行的视觉导航或VLA系统中。

扩散策略模仿学习多模态目标推理
16
强化学习与具身智能 / CVPR2026

FLARE:面向视觉-语言机器人操作的故障感知自主纠正与恢复框架

FLARE: A Failure-Aware Framework for Autonomous Correction and Recovery in Visual-Language Robotic Manipulation

为视觉-语言-动作模型引入基于多模态大语言模型(MLLM)的在线故障监控与重置技能库,使机器人能从执行失败中自主恢复;该“重试-重置”范式可迁移到其他具身视觉任务中提升鲁棒性。

视觉语言动作模型机器人操作故障恢复
17
强化学习与具身智能 / CVPR2026

探索扩散模型在机器人控制中的条件设计

Exploring Conditions for Diffusion Models in Robotic Control

将预训练文生图扩散模型冻结后作为任务自适应的视觉表征提取器,用可学习任务提示与帧级视觉提示替代纯文本条件,为视觉研究者提供了一种无需微调即可把生成模型迁移到下游控制任务的条件设计思路。

扩散模型视觉表征模仿学习
18
强化学习与具身智能 / CVPR2026

以场景图扩展机器人模仿学习的时空上下文

Expanding Spatial and Temporal Context for Robotic Imitation Learning With Scene Graphs

把动态场景图当作显式结构化记忆,为部分可观测下的长时序操作策略提供历史上下文;做视觉模仿学习或具身策略时,可复用这种以物体为中心的关系图记忆来替代隐式循环状态。

场景图模仿学习长时序推理
19
强化学习与具身智能 / CVPR2026

DiffuView:面向3D感知机器人操作的多视图扩散预训练

DiffuView: Multi-View Diffusion Pretraining for 3D Aware Robotic Manipulation

将多视图扩散模型的条件生成能力作为视觉骨干网络,通过隐式恢复场景几何来获得对视角变化鲁棒的3D一致表征,可直接用于提升视觉模仿学习在视角偏移下的泛化性。

多视图扩散模仿学习视觉表征预训练
20
强化学习与具身智能 / CVPR2026

CycleManip:通过有效历史感知与理解实现基于周期的操作

CycleManip: Enabling Cycle-based Manipulation via Effective History Perception and Understanding

面向视觉-语言-动作(VLA)模仿策略的即插即用历史感知模块:用代价感知采样挑选历史帧、用多任务学习增强历史理解,可直接嵌入现有 VLA 策略以处理需要精确终止时刻的周期性操作任务。

模仿学习视觉-语言-动作模型机器人操作基准
21
强化学习与具身智能 / CVPR2026

超越模仿:从人际示范中学习全身人-人形机器人交互

Beyond Mimicry: Learning Whole-Body Human-Humanoid Interaction from Human-Human Demonstrations

PAIR 的接触中心两阶段重定向思路可迁移到任意跨形态动作迁移(如人手到机械手、人体到虚拟人),其核心是显式保留接触语义而非只对齐关节轨迹;D-STAR 的「何时动/何处动」解耦加扩散检测头结构,为视觉-动作联合建模提供了一种可复用的分层策略设计。

模仿学习运动重定向扩散策略
22
强化学习与具身智能 / CVPR2026

AffordGen:借助可供性对应为可泛化物体操作生成多样化示范

AffordGen: Generating Diverse Demonstrations for Generalizable Object Manipulation with Affordance Correspondence

利用视觉基础模型在大规模三维网格上建立关键点语义对应,从而把已有操作轨迹迁移到几何形状不同的新物体上,为视觉研究者提供了一条用三维生成模型扩充机器人操作数据、并训练闭环视觉运动策略的可复用路径。

模仿学习可供性三维生成模型
23
强化学习与具身智能 / CVPR2026

Action-Sketcher:通过视觉草图从推理到动作的机器人操作

Action-Sketcher: From Reasoning to Action via Visual Sketches for Robotic Manipulation

提出可渲染点、框、箭头和关系类型的视觉草图作为中间表示,将语言意图外化为场景几何,为视觉-语言-动作模型提供可验证的推理-动作桥梁,可复用于需要空间消歧的机器人操作任务。

视觉语言动作模型视觉中间表示长程操作