Tag · 39 篇
机器人操作
Video2Robo：基于 3DGS 的单视频合成数据实现可扩展机器人学习
Video2Robo: 3DGS-based Synthetic Data from One Video Enables Scalable Robot Learning
利用 3DGS 作为可编辑场景表示，从单段人类演示视频中重建场景并显式编辑物体布局、背景、光照和相机视角，生成多样化的机器人操作训练数据，为视觉研究者提供了一种将 3D 重建与数据生成结合的可复用范式。
统一感知与动作：一种面向机器人动作生成的隐式视觉思维链混合模态流水线
Unifying Perception and Action: A Hybrid-Modality Pipeline with Implicit Visual Chain-of-Thought for Robotic Action Generation
VITA 将视觉预测与动作生成统一到共享离散潜空间，用自回归 token 同时解码未来帧和动作，为视觉研究者提供了一种把视觉动态作为归纳偏置注入策略学习、缓解模态鸿沟与训练不稳定的可复用范式。
SRPO：面向视觉-语言-动作模型的自参照策略优化
SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models
用世界模型的潜空间编码替代像素级比较来度量轨迹进度，为视觉驱动的机器人策略提供了一种无需人工奖励工程、可跨环境泛化的稠密奖励构造方式，可直接迁移到其他 VLA 后训练或视觉轨迹评估场景。
SIMPACT：利用视觉语言模型的仿真赋能动作规划
SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models
把可微/高效的物理仿真器当作 VLM 的『世界模型』在测试时闭环调用：从单张 RGB-D 快速构建仿真场景，让 VLM 提出动作、观察 rollout 再修正推理，无需额外训练。做具身操作或 VLM 物理常识的研究者可直接复用这一『仿真在环』的推理范式，替代纯文本 CoT 或昂贵的真机试错。
重新思考基于视觉语言模型的机器人操作的中间表示
Rethinking Intermediate Representation for VLM-based Robot Manipulation
把中间表示拆成「操作词表 + 语法」的思路，以及用上下文学习做开放词表部件级分割（杯柄、壶口）的范式，可直接迁移到需要细粒度部件定位的具身操作与视觉定位任务中。
重新审视相机选择：机器人操作中鱼眼相机特性的实证研究
Rethinking Camera Choice: An Empirical Study on Fisheye Camera Properties in Robotic Manipulation
对做具身视觉的人，这篇给出了腕部鱼眼相机在模仿学习中的系统性选型依据：宽视场提升空间定位但依赖场景视觉复杂度，且跨相机迁移失败的主因是尺度过拟合，可用随机尺度增强（RSA）缓解——这提示视觉骨干的尺度不变性设计对策略泛化至关重要。
RehearseVLA：面向 VLA 的物理一致世界模型模拟后训练
RehearseVLA: Simulated Post-Training for VLAs with Physically-Consistent World Model
用世界模型生成时序一致的未来视觉观测来替代真实环境交互，为 VLA 做安全的 RL 后训练；其中 VLM 引导的即时反射器同时充当连续奖励与动作终止判别器，这一『视觉预测+奖励/终止联合建模』思路可迁移到任何需要在线评估的视觉策略学习场景。
REACH：面向扩散策略的显式恢复行为
REACH: Explicit Recovery Behavior for Diffusion Policies
把生成模型中的负提示思想迁移到扩散策略的动作采样上：用误差检测器识别 OOD 执行历史并构造负动作提示，从而在推理时抑制次优动作模态，这一思路可直接复用于视觉-语言-动作模型的动作去噪与采样引导。
PointWorld：面向野外机器人操作的 3D 世界模型规模化
PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation
把动作与状态统一表示为 3D 点流，用 RGB-D 输入预测逐像素三维位移，可作为视觉世界模型直接嵌入 MPC 做无演示的机器人操作；其动作即几何位移的建模思路也可迁移到其他需要动作条件预测的视觉任务。
PALM：面向长程机器人操作、经由可供性推理的进度感知策略学习
PALM: Progress-Aware Policy Learning via Affordance Reasoning for Long-Horizon Robotic Manipulation
把可供性（物体相关性、接触几何、空间摆放、运动动态）作为视觉-运动控制的中间表征来蒸馏，并配合连续子任务进度预测，为 VLA 类模型提供可复用的长程执行稳定化思路。
MM-ACT：从多模态并行生成中学习动作
MM-ACT: Learn from Multimodal Parallel Generation to Act
把文本、图像、动作放进共享词元空间并用 re-mask 并行解码统一生成，为视觉研究者提供了一个可复用的 VLA 架构范式：动作生成可借用扩散/掩码生成的并行解码思路，且跨模态监督能反哺动作预测精度。
定位、结构化与渲染：连接3D与2D视觉-语言-动作模型用于机器人操作
Localizing, Structuring, and Rendering: Bridging 3D and 2D Vision-Language-Action Models for Robotic Manipulation
将可微渲染作为连接3D几何推理与2D视觉语义的桥梁，通过生成可微图像并让2D VLA的梯度回传到3D表示，为视觉研究者提供了一种融合显式3D空间关系与图像级语义的通用手段，可借鉴到需要空间推理的视觉任务中。
局部运动至关重要：一种用于从视频中进行强化学习预训练的分解-重组范式
Local Motion Matters: A Deconstruct-Recompose Paradigm for Reinforcement Learning Pre-training from Videos
从视频中通过跟踪局部点（原子动作）学习可迁移的运动表征，并用潜在动力学模型聚合，为视觉驱动的机器人策略学习提供预训练方案；其双注意力编码器与运动聚合词元设计可复用于视频运动理解与模仿学习。
基于多模态潜变量回放与增量调整的终身模仿学习
Lifelong Imitation Learning with Multimodal Latent Replay and Incremental Adjustment
在多模态潜空间而非原始像素上做经验回放，可大幅压缩视觉-语言-状态表征的存储开销，为视觉策略的持续学习提供可复用的记忆机制；角度间隔约束正则化任务嵌入演化的思路也可迁移到视觉表征的增量学习。
学习以视角不变潜动作实现鲁棒行动
Learning to Act Robustly with View-Invariant Latent Actions
把跨轨迹的转移模式压缩成潜动作，并用真实动作序列做引导对齐，为视觉表征注入物理动力学约束；做具身策略或需要视角鲁棒表征时，可把这一潜动作对齐目标当作预训练任务复用。
从视频中学习统一潜动作空间：以动作为中心的循环一致性
Learning a Unified Latent Action Space from Videos with Action-centric Cycle Consistency
提出以动作为中心的循环一致性训练潜动作分词器，使从视频中学到的潜动作具有语义一致性并可跨本体对齐，为利用无动作标签视频数据训练机器人策略提供了可复用的表征学习手段。
学习具有 3D 空间先验的手术机器人操作
Learning Surgical Robotic Manipulation with 3D Spatial Priors
把立体内窥镜图像中隐含的 3D 几何线索通过微调的几何 Transformer 提取为 3D 潜变量表征，再用轻量连接器对齐到动作空间，为视觉研究者提供了一条「免显式重建、端到端注入 3D 先验」的范式，可直接迁移到其他需要空间感知的视觉运动策略。
从跨视图关系学习多视图空间推理
Learning Multi-View Spatial Reasoning from Cross-View Relations
XVR 提供了跨视图对应、关系验证与目标定位三类 VQA 监督信号，可直接用于微调 VLM 以增强多视图空间表征；其数据构造方式（从 3D 场景与机器人轨迹自动生成问答）也可复用于构建其他具身空间推理训练集。
联合对齐潜动作：面向野外可扩展视觉-语言-动作预训练
Joint-Aligned Latent Action: Towards Scalable VLA Pretraining in the Wild
JALA 提出一种与逆动力学和真实动作联合对齐的预测性动作嵌入，绕开完整视觉动态重建，为从无标注人类视频中学习可迁移的潜动作表征提供了可复用方案，可直接用于 VLA 预训练的数据扩展。
INSIGHT基准：面向机器人操作的场景内引导视觉定位
INSIGHT Bench: Towards Grounded IN-SItu Guidance for Robotic ManipulaTion
论文提出的“in-situ guide grounding”任务要求视觉语言动作模型（VLA）理解物体上的文字和符号（如“PULL”），这为视觉定位研究提供了新的场景和评测基准；其可扩展的仿真框架和程序化生成方法可用于训练和评估模型对物体中心信息的理解能力。
GraspLDP：通过潜变量扩散实现可泛化的抓取策略
GraspLDP: Towards Generalizable Grasping Policy via Latent Diffusion
把抓取位姿先验与抓取性（graspness）自监督重建目标注入潜扩散策略的反向去噪过程，可作为在视觉-动作策略中嵌入几何/任务先验的通用手段，对做机器人操作与视觉-动作联合建模的研究者可直接复用。
GraspGen-X：跨本体的基于扩散的六自由度抓取
GraspGen-X: Cross-Embodiment 6-DOF Diffusion-based Grasping
把夹爪几何编码成扫掠体（swept-volume）条件注入扩散式 6-DOF 抓取生成模型，使同一模型可零样本迁移到未见过的夹爪形态；这套「以本体几何为条件」的思路可直接复用到视觉引导的抓取/操作策略中，也提供了 3.95 亿抓取规模的数据构造范式。
GeoPredict：利用预测式运动学与 3D 高斯几何实现精确的 VLA 操作
GeoPredict: Leveraging Predictive Kinematics and 3D Gaussian Geometry for Precise VLA Manipulation
把 3D 高斯几何预测与关键点轨迹预测作为训练期监督（通过深度渲染），推理时只加少量 query token、不做 3D 解码——这套「重监督、轻推理」的几何先验注入方式可直接迁移到任何连续动作 VLA 策略上，用来补足其 2D 反应式的空间推理短板。
FM-Steer：以价值引导的级联去噪增强通用策略
FM-Steer: Enhance Generalist Policies with Value-Guided Cascaded Denoising
对做视觉-语言-动作（VLA）策略的研究者，这篇给出了一个无需重训的测试时增强范式：用中间流验证器对多个噪声动作候选打分并择优，再用轻量去噪器异步精修，从而在保持实时控制频率的同时提升操作性能——可直接迁移到基于扩散/流匹配的视觉运动策略上。
FLARE：面向视觉-语言机器人操作的故障感知自主纠正与恢复框架
FLARE: A Failure-Aware Framework for Autonomous Correction and Recovery in Visual-Language Robotic Manipulation
为视觉-语言-动作模型引入基于多模态大语言模型（MLLM）的在线故障监控与重置技能库，使机器人能从执行失败中自主恢复；该“重试-重置”范式可迁移到其他具身视觉任务中提升鲁棒性。
探索扩散模型在机器人控制中的条件设计
Exploring Conditions for Diffusion Models in Robotic Control
将预训练文生图扩散模型冻结后作为任务自适应的视觉表征提取器，用可学习任务提示与帧级视觉提示替代纯文本条件，为视觉研究者提供了一种无需微调即可把生成模型迁移到下游控制任务的条件设计思路。
Evo-1：保持语义对齐的轻量级视觉语言动作模型
Evo-1: Lightweight Vision-Language-Action Model with Preserved Semantic Alignment
提出一种轻量级视觉语言动作模型架构，通过跨模态扩散Transformer和两阶段训练保持视觉语言骨干的语义对齐，为视觉研究者提供将VLM高效适配到机器人控制任务的思路，并展示了在低参数量下实现实时推理的可行性。
EnergyAction：基于能量模型的单臂到双臂策略组合
EnergyAction: Unimanual to Bimanual Composition with Energy-Based Models
将单臂操作策略建模为能量模型并通过能量组合实现双臂协调，其能量约束下的时序-空间协调机制与自适应去噪步数策略，可为视觉-动作联合生成中的多策略融合与推理效率提供可复用思路。
DynBridge：通过交互动力学桥接想象与控制以实现机器人操作
DynBridge: Bridging Imagination and Control through Interaction Dynamics for Robot Manipulation
把「动作—环境」的双向耦合显式建模为交互动力学表示，并用它桥接未来视觉想象与可执行动作预测；对做视觉-动作联合建模、视觉预测驱动策略的研究者，这是一个可复用的共享动力学表征与动作条件聚合思路。
DiffuView：面向3D感知机器人操作的多视图扩散预训练
DiffuView: Multi-View Diffusion Pretraining for 3D Aware Robotic Manipulation
将多视图扩散模型的条件生成能力作为视觉骨干网络，通过隐式恢复场景几何来获得对视角变化鲁棒的3D一致表征，可直接用于提升视觉模仿学习在视角偏移下的泛化性。
通过视觉符号诊断、纠正并学习操作失败
Diagnose, Correct, and Learn from Manipulation Failures via Visual Symbols
用显式视觉符号（如箭头、标记）作为中间表示来标注和生成纠正动作，为 VLA 失败恢复提供了一种可复用的视觉提示与数据构造范式；ViFailback-Bench 的 11 项细粒度 VQA 任务也可直接用于评测 VLM 的具身失败诊断能力。
ConsisVLA-4D：面向机器人操作，在高效三维感知与四维推理中推进时空一致性
ConsisVLA-4D: Advancing Spatiotemporal Consistency in Efficient 3D-Perception and 4D-Reasoning for Robotic Manipulation
对做视觉研究的人，这篇提供了不依赖额外深度传感器、仅从多视角 2D 观测构建紧凑潜变量几何 token 的思路（CO-Fuser），以及用跨视角物体身份对齐来保证语义一致性的做法（CV-Aligner），可直接迁移到需要多视角一致表征的 VLA 或具身操作策略中。
CUBic：协调统一的双臂感知与控制框架
CUBic: Coordinated Unified Bimanual Perception and Control Framework
把双臂协调建模为共享 token 化表征问题，用两个共享映射的码本实现双向感知协调，再接扩散策略输出动作；对做视觉运动策略的人，这是一套可复用的「感知表征统一 + 扩散动作头」范式，可直接迁移到其他多智能体或多末端操作设定。
CLaD：通过跨模态潜变量动力学进行有据前瞻的规划
CLaD: Planning with Grounded Foresight via Cross-Modal Latent Dynamics
把本体感知与语义状态用非对称交叉注意力对齐成统一的潜空间动力学，并用自监督预测未来潜变量来条件化扩散策略；做视觉-动作联合建模或机器人操作策略学习时，这套『预测有据的潜变量前瞻 + 扩散动作生成』结构可直接复用。
引导动态感知的 3D 视觉表征用于可扩展机器人学习
Bootstrap Dynamic-Aware 3D Visual Representation for Scalable Robot Learning
把状态预测建模为扩散生成过程、在共享潜空间联合学习前向与逆向动力学，为视觉表征注入可操作的因果转移结构；特征差分与逆一致性监督可防止动作学习中的特征泄漏，这一思路可直接迁移到任何需要动作条件表征的视觉预训练中。
超越成功：通过即时干预从混合质量数据中精炼优雅的机器人操作
Beyond Success: Refining Elegant Robot Manipulation from Mixed-Quality Data via Just-in-Time Intervention
提出一种与基础 VLA 策略解耦的「优雅性评论家」加推理时按需干预机制：用离线校准 Q 学习估计候选动作的执行质量，仅在评论家置信度低的决策关键点介入。做 VLA 策略后处理、动作质量重排序或推理时对齐的视觉研究者可直接复用该「评论家+选择性干预」范式，无需重训大模型。
可供性场干预：使视觉-语言-动作模型摆脱机器人操作中的记忆陷阱
Affordance Field Intervention: Enabling VLAs to Escape Memory Traps in Robotic Manipulation
把 3D 空间可供性场当作 VLA 的按需插件：用本体感知检测记忆陷阱、重定位到高可供性区域、以可供性路径点锚定动作并做轨迹打分，为视觉研究者提供了一个可复用的「显式 3D 几何先验补足端到端策略空间推理」的框架。
面向视觉-语言-动作模型的推理时自适应动作分块
Adaptive Action Chunking at Inference-time for Vision-Language-Action Models
提出用动作熵作为推理时自适应选择动作分块大小的线索，可被其他 VLA 模型直接复用，以平衡响应速度与动作一致性。
AVA-VLA：利用主动视觉注意力改进视觉-语言-动作模型
AVA-VLA: Improving Vision-Language-Action models with Active Visual Attention
将部分可观测马尔可夫决策过程引入VLA策略学习，用循环状态近似历史信念，并基于此设计主动视觉注意力动态重加权当前视觉token，为视觉研究者提供了一种时序感知的视觉特征选择机制，可复用于需要历史推理的视觉决策任务。