Topic · 188 篇
强化学习与具身智能
存在动作与环境的交互闭环。机器人操作、导航、VLA。
这个方向的收录判据
智能体在环境中通过交互学习,且与视觉感知强相关。包括视觉导航、 机器人操作(manipulation)、sim-to-real、imitation learning、 VLA(视觉-语言-动作)模型、世界模型、视觉 RL。 判据:存在"动作"与环境交互闭环。
本方向全部 188 篇
WebGym:面向长程视觉网页智能体的大规模训练环境与真实任务
WebGym: Scaling Training Environments for Long-Horizon Visual Web Agents with Realistic Tasks
提供了一个可扩展的视觉网页智能体 RL 训练环境与高吞吐异步 rollout 系统,视觉研究者可借鉴其「自采样轨迹 + 任务奖励」的 RL 配方与异步采样加速思路,用于训练以截图/网页渲染为观测的 VLM 智能体。
观看并学习:从在线视频中学习使用计算机
Watch and Learn: Learning to Use Computers from Online Videos
把「从连续屏幕状态反推用户动作」的逆动力学建模思路,可直接迁移到视觉示教学习与视频到动作的标注流程中,为从无标注视频自动构造可执行轨迹提供了一套可复用的检索+标注管线。
Wanderland:面向开放世界具身智能的几何落地仿真
Wanderland: Geometrically Grounded Simulation for Open-World Embodied AI
对做视觉导航与具身评测的人,这篇给出了一个把多传感器采集、几何可靠重建与视频-3DGS 渲染串起来的 real-to-sim 管线,并量化了纯图像管线在几何上的失真如何传导到导航策略学习与评测可靠性——可直接作为闭环评测的 testbed 与消融参照。
WPT:通过在线世界模型蒸馏实现从世界模型到策略的迁移
WPT: World-to-Policy Transfer via Online World Model Distillation
对做视觉驱动决策的研究者,可复用其「世界模型在线蒸馏到轻量学生策略」的范式:用世界模型预测的未来动力学构造奖励信号训练教师策略,再蒸馏为学生策略,从而在保持实时推理的同时获得世界模型的规划收益。
Visual-RRT:通过可微渲染寻找通向视觉目标的路径
Visual-RRT: Finding Paths toward Visual-Goals via Differentiable Rendering
把可微机器人渲染当作视觉目标的对齐信号,与 RRT 的采样探索结合,为视觉目标条件下的操作规划提供了可复用的「梯度利用 + 采样探索」框架;做视觉目标设定、视觉伺服或渲染驱动优化的研究者可直接借用其前沿式探索-利用调度与惯性梯度树扩展。
VideoWorld 2:从真实世界视频中学习可迁移知识
VideoWorld 2: Learning Transferable Knowledge from Real-world Videos
用预训练视频扩散模型承担视觉外观建模、把动作动力学剥离到紧凑潜变量码上再自回归建模,这一「外观-动力学解耦」思路可直接迁移到机器人操作策略学习与长时序视频预测中,也提示视觉研究者可把扩散模型当作可复用的外观先验而非端到端生成器。
VLA 模型比你想象的更具泛化性:重新审视物理建模与空间建模
VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling
对做 VLA/机器人策略的视觉研究者:只需在 ViT 视觉词元上做全局仿射调制(4K 参数)或低秩更新,就能把新视角下的成功率从 48.5% 拉到 87–91%,说明预训练 VLA 的视觉表征本身已具备未被利用的鲁棒性,瓶颈在空间建模对齐而非物理建模;这套轻量视觉重校准可直接复用到自己的 VLA 微调流程中。
VIRAL:面向人形机器人移动操作的大规模视觉仿真到现实迁移
VIRAL: Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation
对做视觉的研究者,这篇给出了一个可复用的配方:用大规模平铺渲染 + 覆盖光照/材质/相机参数/图像质量/传感器延迟的视觉域随机化,配合真实到仿真的相机与灵巧手对齐,把纯 RGB 策略零样本迁移到真机;其中「算力规模(数十 GPU)是 sim-to-real 成败关键」这一结论值得在视觉策略训练中直接借鉴。
通过显式从失败中学习释放自动驾驶中的 VLA 潜力
Unleashing VLA Potentials in Autonomous Driving via Explicit Learning from Failures
对做自动驾驶 VLA 的研究者,这篇论文给出了一种把失败诊断的结构化文本反馈转成高奖励修正样本、再注入 RL 训练批次的做法,可用来突破 SFT 后 RL 探索受限导致的性能平台期,尤其适用于长尾场景中奖励稀疏的规划任务。
统一感知与动作:一种面向机器人动作生成的隐式视觉思维链混合模态流水线
Unifying Perception and Action: A Hybrid-Modality Pipeline with Implicit Visual Chain-of-Thought for Robotic Action Generation
VITA 将视觉预测与动作生成统一到共享离散潜空间,用自回归 token 同时解码未来帧和动作,为视觉研究者提供了一种把视觉动态作为归纳偏置注入策略学习、缓解模态鸿沟与训练不稳定的可复用范式。
统一语言-动作理解与生成用于自动驾驶
Unifying Language-Action Understanding and Generation for Autonomous Driving
把语言与动作 token 统一进共享离散码本、并用轨迹生成描述文本的辅助理解目标,是可直接迁移到其他 VLA/具身策略学习中的对齐手段;C2F 两步粗到细解码则为自回归动作生成提供了可复用的加速范式。
UniDex:面向通用灵巧手控制的机器人基础套件
UniDex: A Robot Foundation Suite for Universal Dexterous Hand Control from Egocentric Human Videos
对做视觉研究的人,可复用点在于:用显式 3D 点云(并遮掉人手)作为 VLA 的视觉输入来缩小人-机视觉域差,以及 FAAS 这种把功能相似的执行器映射到共享坐标的统一动作空间,可直接迁移到跨本体策略学习与人类视频到机器人轨迹的重定向流程。
UAST:无人机任意目标的统一主动搜索与跟踪
UAST: Unified Active Search and Tracking for Arbitrary Targets with UAVs
提出一种无需建图的RGB-D主动搜索与跟踪框架,其双分支感知模块和基于规则的搜索策略可被借鉴到无人机视觉导航、目标跟踪与主动感知任务中,特别是跟踪感知可见性损失和动态可行轨迹生成方法对视觉伺服控制有参考价值。
TrajRAG:面向零样本目标导航的几何-语义经验检索
TrajRAG: Retrieving Geometric-Semantic Experience for Zero-Shot Object Navigation
把导航过程中产生的历史观测压缩成拓扑-极坐标轨迹表示并做分层检索,为大模型推理提供可复用的几何-语义先验;做具身导航或VLA的读者可以直接借用这套「经验库+粗到细检索」的框架来替代纯常识先验。
训练单一模型通过强化学习掌握跨层级智能体动作
Training One Model to Master Cross-Level Agentic Actions via Reinforcement Learning
论文提出的多轮 GRPO 训练流程与自适应动作粒度切换机制,可迁移到视觉-语言-动作模型(VLA)或 GUI 智能体中,让模型在长程视觉任务里自主决定何时用高层 API、何时用低层像素级操作,从而提升长程推理的效率与泛化。
TraceGen:在3D轨迹空间中进行世界建模,实现跨具身视频学习
TraceGen: World Modeling in 3D Trace Space Enables Learning from Cross-Embodiment Videos
把世界模型的预测空间从像素空间换成紧凑的3D轨迹(trace)空间,用跨具身视频预训练出可迁移的3D运动先验,从而在只有5条目标机器人视频时也能少样本适配;对做视频世界模型、机器人策略学习和跨域表征的人来说,这是一个可复用的「用几何轨迹替代像素生成」的建模思路。
面向开放环境与指令:通过快慢交互推理的通用视觉语言导航
Towards Open Environments and Instructions: General Vision-Language Navigation via Fast-Slow Interactive Reasoning
提出快慢交互推理框架:快模块用端到端策略网络实时输出动作并积累历史记忆,慢模块对记忆做深度反思提取结构化经验,持续优化快模块,可直接迁移到视觉导航、具身决策等需要在线适应未见环境的视觉任务。
面向类人机器人书写的轮廓感知生成
Towards Human-Like Robot Handwriting via Contour-Aware Generation
将字符笔画轮廓建模为图结构并用GNN联合编码局部笔画细节与全局字形结构,这一「轮廓感知图表示」思路可迁移到笔迹/线条类视觉任务(如草图生成、矢量字体合成、手写识别中的结构先验建模)。
面向视觉-语言-动作模型的延迟反馈测试时扰动调优
Test-Time Perturbation Tuning with Delayed Feedback for Vision-Language-Action Models
对做视觉-语言-动作模型的研究者,这篇给出了一个无需微调基座模型、无需额外验证器的测试时自适应流程:用基于不确定性的数据增强加动作投票抑制动作与实体间的伪相关,再用延迟反馈驱动的轻量扰动模块校正动作 logits 的过度自信,可直接迁移到机器人操作策略的部署阶段。
TeamHOI:学习面向任意团队规模协作式人-物交互的统一策略
TeamHOI: Learning a Unified Policy for Cooperative Human-Object Interactions with Any Team Size
用 Transformer 加队友 token 的分散式策略处理可变团队规模协作,以及用单人参考动作加掩码 AMP 在缺少多智能体数据时保证动作真实感,这两点可直接迁移到视觉驱动的具身多智能体控制与动作生成。
TSTM:面向视觉强化学习泛化的任务相关掩码时序分割
TSTM: Temporal Segmentation for Task-relevant Mask in Visual Reinforcement Learning Generalization
TSTM 利用时序信息分割任务相关区域,并通过不变表征学习提升视觉 RL 策略的泛化性,其掩码生成与一致性约束思路可迁移到其他需要抑制背景干扰的视觉任务。
TRM-VLA:面向视觉-语言-动作模型的时序感知思维链推理与记忆
TRM-VLA: Temporal-Aware Chain-of-Thought Reasoning and Memorization for Vision-Language-Action Models
TRM-VLA 将时序感知的思维链推理与记忆机制引入 VLA 模型,其关键帧触发推理(KTR)和粒度自适应上下文记忆(GCM)可被视觉研究者复用于需要长程规划与实时执行的机器人操作任务,为视觉-语言-动作模型的推理效率与一致性提供新思路。
SwiftVLA:以极小开销为轻量 VLA 模型解锁时空动态
SwiftVLA: Unlocking Spatiotemporal Dynamics for Lightweight VLA Models at Minimal Overhead
用预训练的 4D 视觉几何 Transformer 加时序缓存,从 2D 图像流增量提取 4D 特征,再通过可学习的 Fusion Tokens 与未来预测目标把 4D 特征注入轻量 VLM;掩码重建策略让 4D 分支在推理时可丢弃,为视觉侧提供了一条「训练时用几何先验、部署时零开销」的可复用范式。
面向三维灵巧操作的结构化动作 Transformer
Structural Action Transformer for 3D Dexterous Manipulation
把动作块从时序序列重构为无序的逐关节轨迹序列,并用关节码本编码运动学先验,使 Transformer 能以变长序列原生处理不同自由度的机械手;这一「结构化动作表示 + 点云条件流匹配」的思路可迁移到任何需要跨本体泛化的视觉-动作策略学习。
StaMo:从紧凑状态表征中无监督学习可泛化的机器人运动
StaMo: Unsupervised Learning of Generalizable Robot Motion from Compact State Representation
用预训练 DiT 作为解码器,从静态图像编码出仅两个 token 的紧凑状态表征,并通过潜变量插值得到可直接解码为机器人动作的潜动作;对做 VLA、世界模型或从视频/图像中挖掘动作监督的视觉研究者,这是一个可复用的轻量表征与潜动作提取方案。
通过人类视频视觉-物理对齐的空间感知VLA预训练
Spatial-Aware VLA Pretraining through Visual-Physical Alignment from Human Videos
从大规模人类演示视频中自动抽取3D视觉与3D动作标注,作为对齐2D观测与3D空间推理的监督信号;该「视觉-物理对齐预训练」思路可迁移到任何需要从2D视觉输入推断3D动作的视觉-语言-动作模型,为视觉表征注入3D感知特征。
SocialNav:训练受人类启发的社会感知具身导航基础模型
SocialNav: Training Human-Inspired Foundation Model for Socially-Aware Embodied Navigation
提出基于流匹配的强化学习框架 SAFE-GRPO,将社会合规性作为奖励信号融入导航策略优化,为视觉导航中的社会规范学习提供了可复用的训练范式。
ShowUI-p:基于流的生成模型作为 GUI 灵巧手
ShowUI-p: Flow-based Generative Models as GUI Dexterous Hands
将流匹配生成模型用于 GUI 连续拖拽动作的闭环控制,为视觉智能体提供了一种从屏幕视觉观测直接生成平滑轨迹的轻量动作专家设计,可迁移到其他需要连续交互的视觉-动作任务。
SemanticVLA:通过协同显式轨迹与潜变量动作规划实现超越动作记忆的语义推理
SemanticVLA: Towards Semantic Reasoning over Action Memorization via Synergistic Explicit Trace and Latent Action Planning
对做具身智能与 VLA 的研究者,这篇给出了把 VLM 的预训练空间视觉定位能力直接转成可解释文本坐标轨迹(显式 trace)并与潜变量动作词元互补的规划范式,可作为替代纯动作监督微调的思路,也提供了指令改写鲁棒性的评测视角。
连续环境中的语义视听导航
Semantic Audio-Visual Navigation in Continuous Environments
论文提出在连续3D环境中进行语义视听导航的新设定,并设计多模态Transformer模型MAGNet,联合编码空间与语义目标表示,融合历史上下文与自运动线索进行记忆增强的目标推理。对视觉研究者而言,可借鉴其处理目标间歇性静音或停止发声时如何利用历史信息维持目标定位的思路,以及连续空间下视听流对齐与融合的方法。
面向全身移动操作的可扩展轨迹生成
Scalable Trajectory Generation for Whole-Body Mobile Manipulation
AutoMoMa 的 GPU 加速轨迹生成框架为视觉-语言-动作(VLA)模型和模仿学习策略提供了大规模、物理可行的训练数据,其 AKR 建模与并行优化思路可复用于其他需要生成高质量轨迹的具身智能任务。
面向视觉无监督强化学习的显著性引导表征与一致性策略学习
Saliency-Guided Representation with Consistency Policy Learning for Visual Unsupervised Reinforcement Learning
对做视觉表征与决策结合的研究者,这篇论文给出一个可复用的思路:用显著性引导的动力学预测任务把表征学习与后继度量训练解耦,使视觉URL中的表征聚焦于动力学相关区域;同时把一致性模型(快速采样)与无分类器引导引入技能条件策略,用于建模多模态动作分布,可直接迁移到视觉条件策略学习与技能可控生成。
SaPaVe:面向机器人视觉-语言动作模型的主动感知与操作
SaPaVe: Towards Active Perception and Manipulation in Vision-Language Action Models for Robotics
将相机运动作为独立的语义控制动作与操作动作解耦,并用3D几何感知模块提升动态视角下的执行鲁棒性,为视觉-语言-动作模型提供可复用的主动视角控制范式与ActiveViewPose-200K数据。
STRNet:通过动态图聚合的时空表征视觉导航
STRNet: Visual Navigation with Spatio-Temporal Representation through Dynamic Graph Aggregation
提出一种可泛化的视觉骨干网络,通过空间图推理和混合时序移位模块融合图像序列与目标观测,可复用于目标条件控制任务中的视觉编码。
SRPO:面向视觉-语言-动作模型的自参照策略优化
SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models
用世界模型的潜空间编码替代像素级比较来度量轨迹进度,为视觉驱动的机器人策略提供了一种无需人工奖励工程、可跨环境泛化的稠密奖励构造方式,可直接迁移到其他 VLA 后训练或视觉轨迹评估场景。
SPEAR-1:通过 3D 理解超越机器人演示数据规模
SPEAR-1: Scaling Beyond Robot Demonstrations via 3D Understanding
将 2D 图像-语言预训练的 VLM 通过 3D 标注数据增强为能单图预测物体 3D 坐标的 3D 感知 VLM,并作为机器人基础模型的感知前端,为视觉研究者提供了用廉价非机器人数据注入 3D 理解以提升具身控制可靠性的可复用范式。
SIR:面向可解释机器人学习的结构化图像表征
SIR: Structured Image Representations for Explainable Robot Learning
用场景图作为机器人策略的中间表征,把图像特征转成可稀疏化的图结构,既提升对干扰物的鲁棒性,又让决策过程可被逐节点审查;做视觉表征或 VLA 的研究者可借鉴这种「结构化中间表示 + 端到端稀疏化」的思路来替代黑箱图像嵌入。
SIMPACT:利用视觉语言模型的仿真赋能动作规划
SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models
把可微/高效的物理仿真器当作 VLM 的『世界模型』在测试时闭环调用:从单张 RGB-D 快速构建仿真场景,让 VLM 提出动作、观察 rollout 再修正推理,无需额外训练。做具身操作或 VLM 物理常识的研究者可直接复用这一『仿真在环』的推理范式,替代纯文本 CoT 或昂贵的真机试错。
RoboWheel:面向跨形态机器人学习的真实世界人类演示数据引擎
RoboWheel: A Data Engine from Real-World Human Demonstrations for Cross-Embodiment Robotic Learning
从单目RGB(D)视频重建手物交互并重定向为跨形态机器人动作,为视觉研究者提供了一条将人类演示视频转化为机器人训练数据的可复用管线,其中基于强化学习的接触与穿透约束优化器可用于提升手物姿态估计的物理合理性。
RoboAgent:链式组合基础能力实现具身任务规划
RoboAgent: Chaining Basic Capabilities for Embodied Task Planning
把长程具身规划拆解为调度器加多个子能力(各自维护独立上下文)的单一 VLM 调用链,并用仿真器内部信息为每个子能力构造监督,这一「能力链式调用 + 多阶段训练」范式可直接迁移到视觉导航、视觉操作等需要多轮视觉观测推理的任务。
从扩散视角重新思考视觉重排
Rethinking Visual Rearrangement from A Diffusion Perspective
将视觉重排建模为扩散桥过程,用点云输入和高斯混合分布表示物体状态,通过迭代去噪Transformer预测重排目标,为具身智能中的场景变化推理提供了新思路。
重新思考基于视觉语言模型的机器人操作的中间表示
Rethinking Intermediate Representation for VLM-based Robot Manipulation
把中间表示拆成「操作词表 + 语法」的思路,以及用上下文学习做开放词表部件级分割(杯柄、壶口)的范式,可直接迁移到需要细粒度部件定位的具身操作与视觉定位任务中。
重新审视相机选择:机器人操作中鱼眼相机特性的实证研究
Rethinking Camera Choice: An Empirical Study on Fisheye Camera Properties in Robotic Manipulation
对做具身视觉的人,这篇给出了腕部鱼眼相机在模仿学习中的系统性选型依据:宽视场提升空间定位但依赖场景视觉复杂度,且跨相机迁移失败的主因是尺度过拟合,可用随机尺度增强(RSA)缓解——这提示视觉骨干的尺度不变性设计对策略泛化至关重要。
通过互补持续评论家解决强化学习中的稳定性-可塑性困境
Resolving the Stability-Plasticity Dilemma in Reinforcement Learning via Complementary Continual Critics
对做视觉RL的人,可复用其「双评论家+交叉注意力融合」架构:用CBP维持表征可塑性、用EWC维持稳定性,并按观测特征动态加权两路价值估计,直接缓解非平稳视觉输入下的表征漂移与策略退化。
RehearseVLA:面向 VLA 的物理一致世界模型模拟后训练
RehearseVLA: Simulated Post-Training for VLAs with Physically-Consistent World Model
用世界模型生成时序一致的未来视觉观测来替代真实环境交互,为 VLA 做安全的 RL 后训练;其中 VLM 引导的即时反射器同时充当连续奖励与动作终止判别器,这一『视觉预测+奖励/终止联合建模』思路可迁移到任何需要在线评估的视觉策略学习场景。
ReMoGen:通过多源数据模块化学习的实时人体交互到反应生成
ReMoGen: Real-time Human Interaction-to-Reaction Generation via Modular Learning from Diverse Data
把大规模单人动作数据学到的通用运动先验,通过独立训练的 Meta-Interaction 模块迁移到人-人、人-场景等数据稀缺的交互域,并用帧级 Segment Refinement 在在线推理时融合新观测——这套「通用先验 + 轻量域适配 + 帧级精修」的模块化范式可直接复用到实时人体动作/反应生成与虚拟人驱动。
REACH:面向扩散策略的显式恢复行为
REACH: Explicit Recovery Behavior for Diffusion Policies
把生成模型中的负提示思想迁移到扩散策略的动作采样上:用误差检测器识别 OOD 执行历史并构造负动作提示,从而在推理时抑制次优动作模态,这一思路可直接复用于视觉-语言-动作模型的动作去噪与采样引导。
RC-NF:面向机器人操作实时异常检测的机器人条件归一化流
RC-NF: Robot-Conditioned Normalizing Flow for Real-Time Anomaly Detection in Robotic Manipulation
把归一化流的概率密度当作实时 OOD 打分器,挂在 VLA 模型(如 Pi0)后面做即插即用的异常监控与回滚/重规划触发,为视觉研究者提供了一个可复用的『生成式密度估计做机器人异常检测』范式,以及一个含三类机器人异常的仿真基准。
PvP:基于本体感知-特权对比表征的数据高效人形机器人学习
PvP: Data-Efficient Humanoid Robot Learning with Proprioceptive-Privileged Contrastive Representations
把本体感知状态与特权状态做对比学习来学紧凑潜变量表征,可直接迁移到视觉-本体多模态的具身策略学习中,用来缓解部分可观测下的样本低效;其 SRL4Humanoid 框架也为表征学习与 RL 结合的消融提供了可复用基线。
推与迈步:从基于强化学习的平衡恢复到密集人群的物理仿真
Push-and-Step: From RL-Based Balance Recovery to Physical Simulation of Dense Crowds
两阶段深度强化学习策略(参考动作预训练 + 自适应相位精修)配合物理仿真人体,可用于视觉中的人体运动生成与物理可信的多人交互仿真;其基于机械效率与碰撞风险的邻居肩部接触启发式,为视觉驱动的接触选择与力传递建模提供了可复用思路。
Progress-Think:面向视觉语言导航的语义进度推理
Progress-Think: Semantic Progress Reasoning for Vision-Language Navigation
把「指令执行到哪一步」显式建模为语义进度状态,并用视觉历史与指令前缀的可微对齐自举出该状态,再注入策略上下文——这套进度表征可直接迁移到任何长程视觉-语言序列决策任务(如视频指令跟随、具身操作),也可作为VLA模型的辅助推理头。
ProFocus:视觉语言导航中的主动感知与聚焦推理
ProFocus: Proactive Perception and Focused Reasoning in Vision-and-Language Navigation
将全景观测转成结构化自我中心语义地图,并由 LLM 编排智能体主动发起带焦点区域的视觉查询,这一「主动感知 + 定向取景」的闭环可直接迁移到任何需要从冗余全景/多视角输入中按需取景的具身导航或主动视觉任务;BD-MCTS 从大量历史候选中筛出 top-k 高价值路点再做聚焦推理,也为长时序视觉历史的高效利用提供了可复用策略。
先预测再探索:面向具身问答的专用记忆预测式规划
Predict Before You Explore: Predictive Planning with Specialized Memory for Embodied Question Answering
把「预测-纠错」循环引入具身导航规划:高层规划器先预测问题相关证据可能出现的位置并生成少量长时程探索分支,低层执行器在分支内降低不确定性并在预测失败时修正;同时用结构先验记忆与问题相关视觉证据记忆分离的双记忆设计,可直接迁移到任何部分可观测下的视觉主动探索与长时程导航任务。
PolySLGen:多人交互中的在线多模态说-听反应生成
PolySLGen: Online Multimodal Speaking-Listening Reaction Generation in Polyadic Interaction
面向具身智能体的多人交互场景,提出姿态融合模块与社交线索编码器,将群体运动与社交信号聚合后生成目标参与者的语音、身体动作与说话状态;其多人运动聚合与语音-动作对齐的建模思路可迁移到人体动作预测、社交姿态生成与说话人状态估计等视觉任务。
用 8 个 token 做规划:面向潜空间世界模型的紧凑离散分词器
Planning in 8 Tokens: A Compact Discrete Tokenizer for Latent World Model
把观测压缩到 8 个离散 token 的潜空间表示,可直接替换视觉世界模型中的重型分词器,使基于模型的规划在实时控制下变得可行;做视觉世界模型或 VLA 的读者可以借鉴其压缩比与规划保真度之间的权衡设计。
PlannerRFT:通过闭环与样本高效微调强化扩散规划器
PlannerRFT: Reinforcing Diffusion Planners through Closed-Loop and Sample-Efficient Fine-Tuning
对做扩散策略/规划的研究者,这篇给出一种在推理管线不变的前提下,用双分支优化同时精修轨迹分布并引导去噪探索的强化微调范式,可直接迁移到机器人操作或视觉导航中的扩散策略后训练。
像素运动扩散正是机器人控制所需
Pixel Motion Diffusion is What We Need for Robot Control
把像素运动作为高层意图与低层动作之间的可解释中间表示,并用扩散模型同时建模两层控制器;做视觉-语言-动作(VLA)或机器人操作的研究者可以借鉴这种「运动中心」的中间抽象来缓解仿真到现实的域差,并复用其仅需少量微调即可真机迁移的流程。
以解析概念为铰链物体操作物理定位常识知识
Physically Ground Commonsense Knowledge for Articulated Object Manipulation with Analytic Concepts
把 MLLM 输出的语义常识通过可计算、可仿真的解析概念(数学符号化定义)落到物理表示上,再驱动操作策略;对做视觉-语言-动作(VLA)与具身操作的研究者,这是一种把语义先验转成物理约束的可复用中间表示思路。
PALM:面向长程机器人操作、经由可供性推理的进度感知策略学习
PALM: Progress-Aware Policy Learning via Affordance Reasoning for Long-Horizon Robotic Manipulation
把可供性(物体相关性、接触几何、空间摆放、运动动态)作为视觉-运动控制的中间表征来蒸馏,并配合连续子任务进度预测,为 VLA 类模型提供可复用的长程执行稳定化思路。
为人形机器人像素到动作策略迁移打开仿真到现实之门
Opening the Sim-to-Real Door for Humanoid Pixel-to-Action Policy Transfer
论文展示了仅凭 RGB 感知、完全在仿真中训练的人形机器人全身 loco-manipulation 策略如何零样本迁移到真实铰接物体(如多种门)上;其中分阶段重置探索与基于 GRPO 的微调可用于缓解视觉部分可观测性、提升闭环一致性,对做视觉-动作策略 sim-to-real 的研究者是可复用的训练配方。
OctoNav:迈向通用具身导航
OctoNav: Towards Generalist Embodied Navigation
把 MLLM 改造成仅凭 2D 视觉观测输出低层动作的 VLA 模型,并用 TBA-CoT 数据加 GRPO 做「先思考后行动」的强化学习训练,为视觉研究者提供了将推理链注入具身导航策略的可复用范式。
面向机器人抓取的障碍物推理
Obstruction Reasoning for Robotic Grasping
把「障碍物推理」形式化为以目标物体为起点的障碍路径多步推理,并用障碍感知视觉线索锚定每一步推理,再以可验证奖励做监督+强化微调;做具身操作或 VLA 的研究者可复用该推理链构造与奖励设计,UNOBench 也可作为遮挡场景抓取的评测基准。
NoRD:一种无需推理的数据高效视觉-语言-动作模型
NoRD: A Data-Efficient Vision-Language-Action Model that Drives without Reasoning
对做自动驾驶VLA的研究者,这篇论文表明无需推理标注、仅用不到60%数据,通过Dr.GRPO强化学习微调SFT策略即可达到竞争性性能,且推理词元减少3倍,为数据高效、低延迟的端到端驾驶模型提供了可复用的训练范式。
NitroGen:面向通用游戏智能体的开放基础模型
NitroGen: An Open Foundation Model for Generalist Gaming Agents
从公开游戏视频中自动抽取玩家动作,构建互联网规模的视觉-动作对,并用大规模行为克隆训练跨游戏可迁移的视觉-动作基础模型;这套「视频→动作标注→预训练→下游微调」的流程可直接迁移到机器人操作等视觉-动作策略学习场景。
NavForesee:面向分层规划与双视野导航预测的统一视觉语言世界模型
NavForesee: A Unified Vision-Language World Model for Hierarchical Planning and Dual-Horizon Navigation Prediction
将视觉语言模型同时作为高层规划器和生成式世界模型,通过预测短期环境动态与长期导航里程碑形成感知-规划-预测-动作的内部反馈闭环,为具身导航中的长程规划提供可复用的双视野预测框架。
NIL:无数据模仿学习
NIL: No-data Imitation Learning
用预训练视频 ViT 的嵌入相似度加分割掩码相似度构造无判别器的模仿奖励,把 2D 生成视频当作 3D 物理仿真中技能学习的视觉监督信号,为视觉表征直接驱动具身控制提供了可复用范式。
面向零样本具身导航与推理的多尺度高斯-语言地图
Multi-Scale Gaussian-Language Map for Zero-shot Embodied Navigation and Reasoning
把每个语义单元同时存成自然语言描述和 3D 高斯,用高斯泼溅按需渲染任务相关视角,为大模型提供免训练的对齐接口;做具身导航或场景问答时可直接复用这种「语言-高斯」双模态地图表示,替代需要额外训练投影层的语义地图。
Motus:统一的潜动作世界模型
Motus: A Unified Latent Action World Model
把光流当作像素级「delta action」来学习潜动作,并用 UniDiffuser 式调度器在同一个 MoT 主干里切换世界模型、VLA、逆动力学与视频生成模式,为视觉研究者提供了「用视频生成先验做机器人动作预训练」的可复用范式。
ModularAgent:面向多模态大语言模型与世界模型联合优化的任务感知模块化框架
ModularAgent: A Task-Aware Modular Framework for Joint Optimization of Multimodal Large Language Models and World Models
把 MLLM 的语义表征注入世界模型潜空间、再用世界模型生成的稠密文本条件奖励反向精炼 MLLM 语义空间的双向耦合机制,可为视觉研究者提供一种将视觉动态预测与语言语义先验联合训练的可复用范式,尤其适用于需要多任务与跨环境泛化的具身视觉策略学习。
MoEActok:面向视觉-语言-动作模型的基于混合专家的动作分词器
MoEActok: A MoE-based Action Tokenizer for Vision-Language-Action Models
对做视觉-语言-动作模型的研究者,这篇提供了用聚类驱动的 MoE 量化器把连续动作分块离散化成技能感知 token 的方案,可直接替换 VLA 中单一动作分词器,缓解多技能轨迹上的优化折中,并给出仿真与真机零样本迁移的评测设定。
MindPower:在基于视觉语言模型的具身智能体中实现心智理论推理
MindPower: Enabling Theory-of-Mind Reasoning in VLM-based Embodied Agents
把心智理论(ToM)推理显式嵌入 VLM 具身智能体的感知-推理-决策-行动流水线,并用 Mind-Reward 优化目标对齐推理与行为,为视觉研究者提供了一个可复用的「以机器人为中心」的推理监督与奖励设计范式。
MergeVLA:面向通用视觉-语言-动作智能体的跨技能模型合并
MergeVLA: Cross-Skill Model Merging Toward a Generalist Vision-Language-Action Agent
提出面向模型合并的VLA架构设计:用任务掩码稀疏激活LoRA适配器保持VLM骨干参数一致,并将动作专家中的自注意力替换为纯交叉注意力块以保持技能模块化,为多技能机器人策略合并提供可复用方案。
面向开放世界空中目标导航的记忆增强场景理解与探索
Memory-Augmented Scene Understanding and Exploration for Open-World Aerial Object-Goal Navigation
把 RGB-D 观测增量聚合成自适应八叉树层级 3D 记忆,并用指令调制的 query 从中抽取场景/前沿 token,这套「3D 结构化记忆 + 语言引导检索」可直接迁移到任何需要长程空间记忆的视觉导航或具身任务中。
MaskDexGrasp:面向部件感知灵巧抓取合成的生成式掩码建模
MaskDexGrasp: Generative Masked Modeling for Part-Aware Dexterous Grasp Synthesis
把高维灵巧手抓取姿态离散化为部件级 token 并用双向掩码 Transformer 生成,这种「分词器 + 掩码建模」的范式可直接迁移到人手/手物交互姿态合成与部件级可控编辑任务。
MaskAdapt:基于掩码不变先验的物理角色灵活运动适配学习
MaskAdapt: Learning Flexible Motion Adaptation via Mask-Invariant Prior for Physics-Based Characters
随机身体部位掩码加动作分布一致性正则化训练出的掩码不变先验,可迁移到视觉观测缺失下的姿态/动作估计与条件生成;两阶段残差策略则提供了一种只改动目标部位、保留其余行为的可控生成范式。
Mantis:一种具有解耦视觉预见的通用视觉-语言-动作模型
Mantis: A Versatile Vision-Language-Action Model with Disentangled Visual Foresight
把视觉预见预测从 VLA 骨干网络中解耦,用元查询加 DiT 头在残差连接下做下一状态预测,从而隐式捕获潜动作;这一「解耦式视觉预见」结构可直接迁移到任何需要视觉前瞻辅助动作学习的具身策略中。
MangoBench:面向多智能体目标条件离线强化学习的基准
MangoBench: A Benchmark for Multi-Agent Goal-Conditioned Offline Reinforcement Learning
为视觉驱动的具身智能体提供多目标离线训练与评测基准,其47个任务覆盖高维视觉输入下的联合控制与双臂操作,可直接用于检验视觉表征在稀疏奖励下的目标泛化能力。
MSGNav:释放多模态 3D 场景图在零样本具身导航中的潜力
MSGNav: Unleashing the Power of Multi-modal 3D Scene Graph for Zero-Shot Embodied Navigation
用动态分配图像替代文本关系边构建多模态 3D 场景图,保留视觉证据以支持开放词表零样本导航;其关键子图选择与基于可见性的最终视点决策模块,可直接迁移到需要从 3D 场景表示中检索目标并确定可行停靠位姿的视觉任务。
MM-ACT:从多模态并行生成中学习动作
MM-ACT: Learn from Multimodal Parallel Generation to Act
把文本、图像、动作放进共享词元空间并用 re-mask 并行解码统一生成,为视觉研究者提供了一个可复用的 VLA 架构范式:动作生成可借用扩散/掩码生成的并行解码思路,且跨模态监督能反哺动作预测精度。
MAPS:通过模块级邻近调度保持视觉-语言表征以提升视觉-语言-动作泛化能力
MAPS: Preserving Vision-Language Representations via Module-Wise Proximity Scheduling for Better Vision-Language-Action Generalization
对做 VLA/机器人策略学习的人,这篇给出了一个无需额外参数、可直接插入现有 VLA 的微调调度策略:按模块(视觉编码器 vs 动作导向语言层)差异化地放松对预训练 VLM 的邻近约束,从而在适配下游操作任务的同时保住 OOD 泛化,可直接复用到 OpenVLA 类模型的微调流程中。
MAGICIAN:利用想象高斯进行高效长时程规划以完成主动建图
MAGICIAN: Efficient Long-Term Planning with Imagined Gaussians for Active Mapping
把预训练占用网络转成可快速体渲染的「想象高斯」,从而在树搜索里低成本评估任意新视角的表面覆盖增益——这套「用可微渲染代理函数做长时程规划打分」的思路可直接迁移到主动重建、下一最佳视角选择和具身探索策略学习。
定位、结构化与渲染:连接3D与2D视觉-语言-动作模型用于机器人操作
Localizing, Structuring, and Rendering: Bridging 3D and 2D Vision-Language-Action Models for Robotic Manipulation
将可微渲染作为连接3D几何推理与2D视觉语义的桥梁,通过生成可微图像并让2D VLA的梯度回传到3D表示,为视觉研究者提供了一种融合显式3D空间关系与图像级语义的通用手段,可借鉴到需要空间推理的视觉任务中。
局部运动至关重要:一种用于从视频中进行强化学习预训练的分解-重组范式
Local Motion Matters: A Deconstruct-Recompose Paradigm for Reinforcement Learning Pre-training from Videos
从视频中通过跟踪局部点(原子动作)学习可迁移的运动表征,并用潜在动力学模型聚合,为视觉驱动的机器人策略学习提供预训练方案;其双注意力编码器与运动聚合词元设计可复用于视频运动理解与模仿学习。
基于多模态潜变量回放与增量调整的终身模仿学习
Lifelong Imitation Learning with Multimodal Latent Replay and Incremental Adjustment
在多模态潜空间而非原始像素上做经验回放,可大幅压缩视觉-语言-状态表征的存储开销,为视觉策略的持续学习提供可复用的记忆机制;角度间隔约束正则化任务嵌入演化的思路也可迁移到视觉表征的增量学习。
学会看与做:面向机器人操作的任务感知虚拟视角探索
Learning to See and Act: Task-Aware Virtual View Exploration for Robotic Manipulation
把「选视角」本身建模为可学习策略,并在重建的场景表示上按所选虚拟相机重渲染观测,这为视觉研究者提供了一条绕开固定相机与遮挡的通用思路:用可微/可重渲染的场景表示做主动感知,而不是被动接受输入图像。
通过生成并模仿 2D 运动学习控制物理仿真的 3D 角色
Learning to Control Physically-simulated 3D Characters via Generating and Mimicking 2D Motions
把视频中提取的 2D 运动当作物理仿真角色控制策略的监督信号,绕开 3D 运动重建的物理不合理性;其「多视角 2D 跟踪隐式学出 3D 结构」的思路,对做单目视频驱动角色动画、以及用 2D 标注替代 3D 标注的视觉研究者是可复用的技术路线。
学习辅助:基于多智能体强化学习的物理接地人-人控制
Learning to Assist: Physics-Grounded Human-Human Control via Multi-Agent Reinforcement Learning
把「双人近距离施力交互」的运动模仿建模为多智能体 RL,并用单人运动跟踪控制器初始化伙伴策略、动态重定向参考动作——这套「先单人预训练再双人协同」的流程可直接迁移到视觉驱动的虚拟人/数字人交互合成与具身人形控制任务。
学会适应:通过认知感知探索实现自我改进的网页智能体
Learning to Adapt: Self-Improving Web Agent via Cognitive-Aware Exploration
对视觉研究者而言,可复用之处在于把 Selector/Predictor/Judger 三角色对抗式自探索与 SCALE-Hop 图探索结合,用于在无专家轨迹条件下自动挖掘 MLLM 智能体的能力边界;这套自改进回路可迁移到需要视觉观测的 GUI/具身导航智能体训练中。
学习以视角不变潜动作实现鲁棒行动
Learning to Act Robustly with View-Invariant Latent Actions
把跨轨迹的转移模式压缩成潜动作,并用真实动作序列做引导对齐,为视觉表征注入物理动力学约束;做具身策略或需要视角鲁棒表征时,可把这一潜动作对齐目标当作预训练任务复用。
从视频中学习统一潜动作空间:以动作为中心的循环一致性
Learning a Unified Latent Action Space from Videos with Action-centric Cycle Consistency
提出以动作为中心的循环一致性训练潜动作分词器,使从视频中学到的潜动作具有语义一致性并可跨本体对齐,为利用无动作标签视频数据训练机器人策略提供了可复用的表征学习手段。
学习具有 3D 空间先验的手术机器人操作
Learning Surgical Robotic Manipulation with 3D Spatial Priors
把立体内窥镜图像中隐含的 3D 几何线索通过微调的几何 Transformer 提取为 3D 潜变量表征,再用轻量连接器对齐到动作空间,为视觉研究者提供了一条「免显式重建、端到端注入 3D 先验」的范式,可直接迁移到其他需要空间感知的视觉运动策略。
面向端到端自动驾驶的潜变量思维链世界建模
Latent Chain-of-Thought World Modeling for End-to-End Autonomous Driving
把思维链从自然语言搬到与动作同词表的潜空间,并用学习到的潜世界模型 token 表达未来结果,为视觉端到端驾驶提供了一种推理更快、可直接接闭环 RL 后训练的推理时推理范式;其『动作对齐潜空间 + 世界模型 token 交错』的结构可迁移到其他视觉-动作序列决策任务。
面向机器人操作的语言锚定解耦动作表征
Language-Grounded Decoupled Action Representation for Robotic Manipulation
把高层视觉-语言表征与低层动作控制解耦,用语言作为语义桥梁,并以翻译/旋转/夹爪三类动作基元作为细粒度中间层;对做 VLA 或视觉-语言条件策略的研究者,这套「语义引导软标签对比学习 + 课程式自适应权重」可直接迁移到自己的动作头对齐与跨任务泛化上。
LASAR:面向时空推理的潜在认知地图
LASAR: Towards Spatio-temporal Reasoning with Latent Cognitive Map
ST-CRL 用仿真中带时空标注的查询构造对比样本对,把碎片化经验压成内部认知地图,这一自监督信号可直接迁移到任何需要长程空间记忆的视觉导航或具身问答模型训练中。
LAOF:基于光流约束的鲁棒潜动作学习
LAOF: Robust Latent Action Learning with Optical Flow Constraints
把光流当作无需人工标注的动作驱动伪监督信号,用来学习对背景干扰鲁棒的潜动作表征,可直接用于视觉-动作预训练与下游模仿学习/强化学习策略初始化。
联合对齐潜动作:面向野外可扩展视觉-语言-动作预训练
Joint-Aligned Latent Action: Towards Scalable VLA Pretraining in the Wild
JALA 提出一种与逆动力学和真实动作联合对齐的预测性动作嵌入,绕开完整视觉动态重建,为从无标注人类视频中学习可迁移的潜动作表征提供了可复用方案,可直接用于 VLA 预训练的数据扩展。
迭代闭环运动合成:扩展人形控制能力
Iterative Closed-Loop Motion Synthesis for Scaling the Capabilities of Humanoid Control
提出闭环自动运动数据生成与迭代框架,通过物理指标和客观评估实现策略与数据的难度迭代,可复用于视觉驱动的运动合成与具身控制任务,突破固定数据分布的性能上限。
InternData-A1:面向通用策略预训练的高保真合成数据
InternData-A1: Pioneering High-Fidelity Synthetic Data for Pre-training Generalist Policy
提供了一套全解耦、可组合的仿真数据生成流水线,可批量产出多本体、多技能、长程操作轨迹;对做视觉-语言-动作模型的人而言,这是验证「纯合成数据预训练能否替代真机数据」的可复用数据与评测设定。
InterPrior:面向基于物理的人-物体交互的可扩展生成式控制
InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions
提出一种从大规模模仿预训练到强化学习微调的可扩展生成式控制框架,利用多模态观测和高级意图重建全身运动,并通过物理扰动数据增强提升泛化能力,可为人形机器人的视觉-运动控制提供可复用的训练范式。
InterPhys:动态场景中的物理感知人体运动合成
InterPhys: Physics-aware Human Motion Synthesis in a Dynamic Scene
提出基于连续距离的力模型,把接触建模从手部扩展到任意表面(含动态物体),并用软物理约束维持力/力矩平衡;做人体-场景交互生成或物理可信动画的研究者可直接复用该力模型与约束形式。
InterAgent:基于交互图扩散的物理多智能体指令执行
InterAgent: Physics-based Multi-agent Command Execution via Diffusion on Interaction Graphs
提出交互图外感知表示与稀疏边注意力机制,可迁移到多智能体视觉感知与交互建模任务中,用于显式编码关节间空间依赖并动态剪枝冗余连接。
IPR-1:交互式物理推理器
IPR-1: Interactive Physical Reasoner
用世界模型 rollout 作为奖励信号来强化 VLM 策略,并用物理中心动作码(PhysCode)对齐语义意图与动力学,为视觉研究者提供了一种在交互环境中把预测模型与推理模型耦合的可复用范式。
IGen:从开放世界图像可扩展地生成机器人学习数据
IGen: Scalable Data Generation for Robot Learning from Open-World Images
把开放世界单张图像转成可用于操作策略训练的视频-动作对:先用 3D 场景表示重建,再由 VLM 规划并输出 SE(3) 末端位姿,最后渲染时序一致的观测。做视觉-动作数据合成、VLA 预训练或 sim-to-real 的工作可以直接复用这条「图像→3D→位姿→视频」的流水线来扩充训练集。
面向零样本运动跟踪的人形生成式预训练
Humanoid Generative Pre-Training for Zero-Shot Motion Tracking
用因果注意力 Transformer 在十亿级动作语料上做生成式预训练,替代浅层 MLP 跟踪器,为视觉驱动的全身运动跟踪与零样本泛化提供可扩展的骨干与数据规模化范式。
从历史到未来:以经验与思考演化智能体实现零样本视觉语言导航
History to Future: Evolving Agent with Experience and Thought for Zero-shot Vision-and-Language Navigation
把 LLM 的未来动作/地标预测(F-CoT)与历史轨迹经验总结(H-CoE)组合成可演化的零样本导航决策回路,可直接迁移到视觉导航、具身探索等需要在线纠错的序列决策任务中。
HiconAgent:面向 GUI 智能体的历史上下文感知策略优化
HiconAgent: History Context-aware Policy Optimization for GUI Agents
把「历史观测该保留多少」变成策略优化里的显式变量:DCS 在采样阶段给智能体不同长度的历史,AHC 用双分支(压缩分支丢观测、保留动作作为信息流锚点)加对齐损失约束两分支一致,这套「变长历史采样 + 压缩分支对齐」可直接迁移到视频/多帧输入的视觉决策模型,用来在长时序视觉上下文下省算力。
HiF-VLA:通过运动表征为视觉-语言-动作模型引入回溯、洞察与前瞻
HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models
把帧间运动(而非原始像素)作为紧凑的时序上下文表征,并以此构建以运动为中心的世界模型,为 VLA 提供回溯先验与前瞻推理;这一「运动即上下文」的思路可直接迁移到任何需要长程时序一致性的视觉-动作策略中,且额外推理延迟可忽略。
HTNav:面向城市空中视觉语言导航的混合分层结构导航框架
HTNav: A Hybrid Navigation Framework with Tiered Structure for Urban Aerial Vision-and-Language Navigation
提出混合模仿学习与强化学习的分层导航框架,结合地图表征学习增强空间连续性理解,可复用于视觉语言导航等具身任务中的长程路径规划与精细动作控制协同问题。
HQC-NBV:一种混合量子-经典视角规划方法
HQC-NBV: A Hybrid Quantum-Classical View Planning Approach
把视角规划(NBV)的参数搜索交给变分量子线路:用多分量哈密顿量编码视角代价、用双向交替纠缠的 ansatz 捕捉视角参数间的层级依赖,可作为主动视觉/机器人探索中采样式规划器的替代搜索后端。
GraspLDP:通过潜变量扩散实现可泛化的抓取策略
GraspLDP: Towards Generalizable Grasping Policy via Latent Diffusion
把抓取位姿先验与抓取性(graspness)自监督重建目标注入潜扩散策略的反向去噪过程,可作为在视觉-动作策略中嵌入几何/任务先验的通用手段,对做机器人操作与视觉-动作联合建模的研究者可直接复用。
GraspGen-X:跨本体的基于扩散的六自由度抓取
GraspGen-X: Cross-Embodiment 6-DOF Diffusion-based Grasping
把夹爪几何编码成扫掠体(swept-volume)条件注入扩散式 6-DOF 抓取生成模型,使同一模型可零样本迁移到未见过的夹爪形态;这套「以本体几何为条件」的思路可直接复用到视觉引导的抓取/操作策略中,也提供了 3.95 亿抓取规模的数据构造范式。
GraspALL:面向任意低光照条件下机器人衣物抓取的自适应光照变化结构补偿
GraspALL: Adaptive Structural Compensation from Illumination Variation for Robotic Garment Grasping in Any Low-Light Conditions
针对低光照下衣物抓取任务,提出将连续光照变化编码为定量参考,以指导RGB与非RGB模态的自适应融合,生成光照一致的抓取表征;该光照自适应融合机制可迁移至其他多模态感知任务。
由视频扩散模型提供目标驱动奖励的强化学习
Goal-Driven Reward by Video Diffusion Models for Reinforcement Learning
把预训练视频扩散模型的视频编码器潜变量与生成目标视频的对齐度当作奖励,并用 CLIP 从生成视频中挑出目标帧、再以前向后向表征给出帧级奖励——这套「用生成模型当奖励函数」的流程可直接迁移到视觉驱动的机器人操作与导航任务中,替代人工设计的程序化奖励。
全局先验遇上局部一致性:面向高效机器人操作的双记忆增强视觉-语言-动作模型
Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation
用检索到的任务级先验替代高斯噪声来缩短扩散策略的生成路径,并用局部一致性记忆约束时序平滑,可直接迁移到视觉-语言-动作模型的少步动作生成与长程操作任务。
GeoPredict:利用预测式运动学与 3D 高斯几何实现精确的 VLA 操作
GeoPredict: Leveraging Predictive Kinematics and 3D Gaussian Geometry for Precise VLA Manipulation
把 3D 高斯几何预测与关键点轨迹预测作为训练期监督(通过深度渲染),推理时只加少量 query token、不做 3D 解码——这套「重监督、轻推理」的几何先验注入方式可直接迁移到任何连续动作 VLA 策略上,用来补足其 2D 反应式的空间推理短板。
GeoDexGrasp:面向数据高效与物理合理的几何感知灵巧抓取生成
GeoDexGrasp: Geometry-aware Generation for Data-efficient and Physics-plausible Dexterous Grasping
SIM(3) 等变网络加自监督解耦,把物体几何拆成形状、尺寸、位姿、交互方向的可迁移特征,这种以物体为中心的几何表征可直接迁移到视觉中的位姿估计与抓取检测,也可作为生成式抓取模型的条件编码器。
GeniNav:生成模型驱动的图像目标导航——通过想象引导的一致性流匹配
GeniNav: Generative Model Driven Image-Goal Navigation via Imagination-Guided Consistency Flow Matching
将 VLM 驱动的潜变量子目标想象与多段一致性流匹配结合,用于无地图图像目标导航;其一致性流匹配策略与混合轨迹评估(语义对齐+几何可行性)可迁移到其他视觉导航与具身控制策略的时序平滑生成。
面向机器人强化学习的通用过程奖励建模
General Process Reward Modeling for Robotic Reinforcement Learning
多视角奖励融合与逐步奖励离散化为视觉研究者提供了从多视角观测中提取细粒度操作进度信号的通用范式,可直接复用于机器人操作策略的稠密奖励建模与单样本任务适配。
GeCo-SRT:面向跨任务仿真到现实迁移的几何感知持续适应
GeCo-SRT: Geometry-aware Continual Adaptation for Cross-Task Sim-to-Real Transfer
把局部几何特征当作域不变、任务不变的迁移基底,并用几何感知的混合专家加优先经验回放来累积跨任务仿真到现实的经验,这套「几何先验+专家路由+经验回放」的组合可直接迁移到视觉策略的持续域适应与机器人操作策略学习中。
Gallant:面向三维受限地形的基于体素栅格的人形机器人运动与局部导航
Gallant: Voxel Grid-based Humanoid Locomotion and Local-navigation across 3-D Constrained Terrains
用体素化激光雷达点云替代深度图/高程图作为策略输入,并配 z 分组 2D CNN 处理体素栅格,为视觉感知驱动的具身控制提供了更完整的三维感知表征与可扩展的激光雷达仿真训练管线。
GUI-SAGE:以自解释学习增强 GUI 自动化
GUI-SAGE: Enhancing GUI Automation with Self-Explanatory Learning
对做视觉智能体(GUI/具身)的人,这篇给出一个可复用思路:用真值动作条件化生成同分布推理轨迹,替代分布外专家示范,避免熵坍缩;配合熵调制的信用分配,把置信度与奖励联合加权,可直接迁移到视觉-语言-动作策略的 RL 微调。
从观察到动作:面向工业场景VLA预训练的基于潜变量动作的基元分割
From Observation to Action: Latent Action-based Primitive Segmentation for VLA Pre-training in Industrial Settings
提出无监督动作基元分割与潜变量动作序列提取的流程,可直接用于从工业视频中自动构建VLA预训练数据,为具身智能提供可扩展的数据组织方案。
从手册到动作:面向思维链手册生成与机器人操作统一视觉-语言-动作模型
From Manuals to Actions: A Unified VLA Model for Chain-of-Thought Manual Generation and Robotic Manipulation
把多模态手册(图像+视觉提示+文本)作为中间表示,经 ManualCoT 注入动作专家,为长程操作任务提供显式控制条件与隐式潜变量引导;其基于 3D 高斯泼溅的数字孪生数据自动生成管线,可用于低成本扩充机器人操作训练数据。
ForeAct:以高效视觉预见规划引导视觉语言动作模型
ForeAct: Steering Your VLA with Efficient Visual Foresight Planning
把「想象未来观测」作为可插拔的视觉输入增强,让 VLA 从高层语义推理中解放出来专注视觉-运动推理;其 0.33s 生成 640x480 预见图像的轻量生成模块与百万级跨具身预训练思路,可直接迁移到任何以图像为输入的策略模型上。
ForceVLA2:释放面向接触丰富操作的力觉感知混合力位控制
ForceVLA2: Unleashing Hybrid Force-Position Control with Force Awareness for Contact-Rich Manipulation
把力信号作为提示注入 VLM 专家、并用跨尺度 MoE 与实时力做闭环融合,为视觉-语言-动作模型引入力觉通道提供了可复用的架构范式;其多视角图像+力信号的数据集也可用于研究接触丰富场景下的多模态表征。
FloVerse:户型图引导的多模态导航
FloVerse: Floor Plan-Guided Multi-Modal Navigation
把户型图作为紧凑空间先验注入具身导航策略,并用掩码模态建模训练扩散式多模态目标推理模块,可复用到任何需要跨模态目标定位与安全执行的视觉导航或VLA系统中。
Fast-ThinkAct:通过可言语化潜变量规划实现高效视觉-语言-动作推理
Fast-ThinkAct: Efficient Vision-Language-Action Reasoning via Verbalizable Latent Planning
把显式思维链压缩成可言语化的潜变量规划,并用偏好引导目标把教师的语言与视觉规划能力蒸馏进学生策略,为视觉研究者提供了一条在保持长程规划与失败恢复能力的同时大幅降低 VLA 推理延迟的可复用思路。
FantasyVLN:面向视觉语言导航的统一多模态思维链推理
FantasyVLN: Unified Multimodal Chain-of-Thought Reasoning for Vision-and-Language Navigation
把想象出的视觉观测用预训练 VAR 编码进紧凑潜空间,使多模态思维链推理不再产生大量词元开销,从而在推理时直接做指令到动作的映射;这套「隐式推理表征」思路可迁移到任何需要推理但受延迟约束的视觉-语言-动作任务。
FM-Steer:以价值引导的级联去噪增强通用策略
FM-Steer: Enhance Generalist Policies with Value-Guided Cascaded Denoising
对做视觉-语言-动作(VLA)策略的研究者,这篇给出了一个无需重训的测试时增强范式:用中间流验证器对多个噪声动作候选打分并择优,再用轻量去噪器异步精修,从而在保持实时控制频率的同时提升操作性能——可直接迁移到基于扩散/流匹配的视觉运动策略上。
FLARE:面向视觉-语言机器人操作的故障感知自主纠正与恢复框架
FLARE: A Failure-Aware Framework for Autonomous Correction and Recovery in Visual-Language Robotic Manipulation
为视觉-语言-动作模型引入基于多模态大语言模型(MLLM)的在线故障监控与重置技能库,使机器人能从执行失败中自主恢复;该“重试-重置”范式可迁移到其他具身视觉任务中提升鲁棒性。
将具身问答从感知扩展到决策
Extending Embodied Question Answering from Perception to Decision
为视觉语言模型在具身环境中的空间理解与交互推理提供了统一的四层级评测框架(静态场景构建、空间理解、任务动态推理、即时决策),并配套 RoboDecision 基线,可直接用于诊断 VLM 在感知到行动决策链条上的短板。
探索扩散模型在机器人控制中的条件设计
Exploring Conditions for Diffusion Models in Robotic Control
将预训练文生图扩散模型冻结后作为任务自适应的视觉表征提取器,用可学习任务提示与帧级视觉提示替代纯文本条件,为视觉研究者提供了一种无需微调即可把生成模型迁移到下游控制任务的条件设计思路。
带着长期记忆去探索:面向具身探索的基准与基于多模态大语言模型的强化学习框架
Explore with Long-term Memory: A Benchmark and Multimodal LLM-based Reinforcement Learning Framework for Embodied Exploration
把多模态大语言模型用强化学习微调成会主动查询长期记忆的探索策略,并给出多目标导航+记忆问答的评测协议,可直接复用到视觉导航与具身探索中的记忆机制设计。
Minecraft 游戏中多模态大模型智能体的经验迁移
Experience Transfer for Multimodal LLM Agents in Minecraft Game
把过去交互经验拆成结构/属性/过程/功能/交互五个维度并做上下文类比检索,这套「可迁移经验表示 + 检索式上下文示例」的机制可直接搬到视觉具身智能体的长程任务记忆里,替代把历史帧当静态缓存的朴素做法。
以场景图扩展机器人模仿学习的时空上下文
Expanding Spatial and Temporal Context for Robotic Imitation Learning With Scene Graphs
把动态场景图当作显式结构化记忆,为部分可观测下的长时序操作策略提供历史上下文;做视觉模仿学习或具身策略时,可复用这种以物体为中心的关系图记忆来替代隐式循环状态。
Evo-1:保持语义对齐的轻量级视觉语言动作模型
Evo-1: Lightweight Vision-Language-Action Model with Preserved Semantic Alignment
提出一种轻量级视觉语言动作模型架构,通过跨模态扩散Transformer和两阶段训练保持视觉语言骨干的语义对齐,为视觉研究者提供将VLM高效适配到机器人控制任务的思路,并展示了在低参数量下实现实时推理的可行性。
EnergyAction:基于能量模型的单臂到双臂策略组合
EnergyAction: Unimanual to Bimanual Composition with Energy-Based Models
将单臂操作策略建模为能量模型并通过能量组合实现双臂协调,其能量约束下的时序-空间协调机制与自适应去噪步数策略,可为视觉-动作联合生成中的多策略融合与推理效率提供可复用思路。
面向人形全身控制的端到端语言-动作模型
End-to-End Language-Action Model for Humanoid Whole Body Control
把语言指令与本体感知直接映射到低层动作的端到端流匹配策略,配合残差动作头做真机精修,可作为视觉-语言-动作(VLA)类具身控制中绕开中间表示与模块化流水线的可复用范式。
EgoRoC:面向第一人称机器人控制的任任务无关视觉对齐
EgoRoC: Towards Egocentric Robotic Control via Task-Agnostic Visual Alignment
把第一人称腕部相机的视角对齐做成可插拔的6-DoF位姿接口,前置到任意VLA策略之前,并用扩散式在线手眼模块在末端执行器坐标系下修正动作;对做具身视觉的人,这是一种把「看」与「做」解耦、免手眼标定即可跨硬件部署的复用范式。
基于球谐函数的高效混合 SE(3) 等变视觉运动流策略用于机器人操作
Efficient Hybrid SE(3)-Equivariant Visuomotor Flow Policy via Spherical Harmonics for Robot Manipulation
把球谐函数表示作为 SO(3) 等变的载体,并设计不变特征增强模块融合点云与图像,可直接迁移到任何需要旋转等变的多模态视觉编码器;同时证明整流流可与等变扩散策略稳定结合,为少步采样策略学习提供可复用方案。
面向强化微调的动态重要样本挖掘
Dynamic Important Example Mining for Reinforcement Finetuning
对做视觉推理模型(如多模态大模型、视觉问答)的研究者,DIEM 提供了一种在 RFT 阶段按梯度对齐动态估计样本边际贡献并做约束式批重加权的通用手段,可直接迁移到视觉推理数据的采样与课程设计上。
DynBridge:通过交互动力学桥接想象与控制以实现机器人操作
DynBridge: Bridging Imagination and Control through Interaction Dynamics for Robot Manipulation
把「动作—环境」的双向耦合显式建模为交互动力学表示,并用它桥接未来视觉想象与可执行动作预测;对做视觉-动作联合建模、视觉预测驱动策略的研究者,这是一个可复用的共享动力学表征与动作条件聚合思路。
DreamSAC:通过对称性探索学习哈密顿世界模型
DreamSAC: Learning Hamiltonian World Models via Symmetry Exploration
用自监督对比目标从视角相关的原始像素中提取不变物理状态,可作为视觉表征学习的一种思路:把守恒律/对称性作为监督信号,提升模型对未见物理属性的外推能力。
你会即兴吗?通过音频控制的富有表现力的人形机器人运动
Do You Have Freestyle? Expressive Humanoid Locomotion via Audio Control
把音频当作隐式风格信号、跳过显式动作重建直接生成可执行的人形运动,这种「内容+风格」解耦的音频到运动扩散策略可迁移到视觉侧的音频驱动人体动作生成与动作重定向任务,避免级联误差与高延迟。
DiffuView:面向3D感知机器人操作的多视图扩散预训练
DiffuView: Multi-View Diffusion Pretraining for 3D Aware Robotic Manipulation
将多视图扩散模型的条件生成能力作为视觉骨干网络,通过隐式恢复场景几何来获得对视角变化鲁棒的3D一致表征,可直接用于提升视觉模仿学习在视角偏移下的泛化性。
通过视觉符号诊断、纠正并学习操作失败
Diagnose, Correct, and Learn from Manipulation Failures via Visual Symbols
用显式视觉符号(如箭头、标记)作为中间表示来标注和生成纠正动作,为 VLA 失败恢复提供了一种可复用的视觉提示与数据构造范式;ViFailback-Bench 的 11 项细粒度 VQA 任务也可直接用于评测 VLM 的具身失败诊断能力。
DextER:具备具身推理的语言驱动机器人灵巧抓取生成
DextER: Language-driven Dexterous Grasp Generation with Embodied Reasoning
把「哪根手指连杆接触物体表面何处」作为具身感知的中间表示,用自回归 token 生成桥接任务语义与物理约束;这一接触 token 化的思路可迁移到其他手-物交互、可供性预测与可控操作生成任务。
DemoFunGrasp:基于示范编辑强化学习的通用灵巧功能抓取
DemoFunGrasp: Universal Dexterous Functional Grasping via Demonstration-Editing Reinforcement Learning
将功能抓取条件分解为抓取风格与可供性,并用单条示范编辑重构强化学习问题,为视觉驱动的机器人操作提供样本高效的多任务学习范式;结合视觉语言模型进行规划,实现指令跟随的自主抓取。
Dejavu:面向具身智能的经验反馈学习
Dejavu: Towards Experience Feedback Learning for Embodied Intelligence
对做 VLA/具身策略的视觉研究者,这篇给出一种不改动冻结策略权重的部署后增强范式:用检索到的历史动作经验作为条件输入,并通过强化学习加语义相似度奖励训练一个轻量 EFN,可直接套用到现有 VLA 上提升成功率与鲁棒性。
DecoVLN:解耦观测、推理与纠正的视觉语言导航
DecoVLN: Decoupling Observation, Reasoning, and Correction for Vision-and-Language Navigation
长时记忆构建被形式化为对统一评分函数的迭代优化(语义相关性、视觉多样性、时序覆盖),可直接迁移到任何需要从历史帧池中挑选关键帧的视觉导航或视频理解流水线;状态-动作对级纠错微调利用测地距离筛选可信区域样本,为视觉导航中的复合误差问题提供了可复用的数据筛选思路。
DRAMA:面向动态环境中弹性多智能体生态的下一代动态编排
DRAMA: Next-Gen Dynamic Orchestration for Resilient Multi-Agent Ecosystems in Flux
DRAMA 的多层架构与事件触发重调度机制可被视觉研究者用于设计动态多机器人协作系统,其集体空间智能模块整合分布式观测进行预测推理,为多视角视觉感知与决策融合提供可复用框架。
D3D-VLP:面向具身视觉定位与导航的动态三维视觉-语言-规划模型
D3D-VLP: Dynamic 3D Vision-Language-Planning Model for Embodied Grounding and Navigation
把规划、视觉定位、导航与问答统一进单个 3D-VLM 的 3D 思维链管线,并用掩码自回归损失从部分标注的混合数据中互相隐式监督,对做具身导航与 3D 场景理解的人提供了一个可复用的多任务联合训练范式。
CycleManip:通过有效历史感知与理解实现基于周期的操作
CycleManip: Enabling Cycle-based Manipulation via Effective History Perception and Understanding
面向视觉-语言-动作(VLA)模仿策略的即插即用历史感知模块:用代价感知采样挑选历史帧、用多任务学习增强历史理解,可直接嵌入现有 VLA 策略以处理需要精确终止时刻的周期性操作任务。
面向视觉-语言-动作模型的跨手部潜表征
Cross-Hand Latent Representation for Vision-Language-Action Models
把不同灵巧手的关节动作映射到共享的具身无关潜动作空间,可直接插入标准 VLA 架构,为视觉研究者提供一种跨具身数据复用与动作表征对齐的即插即用方案。
跨域演示到代码:基于神经符号反事实推理的方法
Cross-Domain Demo-to-Code via Neurosymbolic Counterfactual Reasoning
把视频演示抽象为符号轨迹、再用反事实状态搜索做可验证的程序修订,这一「感知→符号→可验证改写」的管线可迁移到视觉演示学习与跨域操作策略生成中,为 VLM 驱动的机器人编程提供可验证的中间表示。
从左脑到右脑:面向视觉语言导航的自适应文本想象器
Cross from Left to Right Brain: Adaptive Text Dreamer for Vision-and-Language Navigation
用 LLM 以语言形式想象未来场景语义、替代视觉合成来缓解 VLN 的部分可观测性,并给出 decoder-free 潜空间接口把想象结果注入导航专家模块,这套「文本想象 + 潜空间对齐」思路可迁移到其他需要预测未来观测的具身导航与探索任务。
反事实 VLA:具备自适应推理的自反思视觉-语言-动作模型
Counterfactual VLA: Self-Reflective Vision-Language-Action Model with Adaptive Reasoning
把反事实自反思作为 VLA 执行前的推理环节,并配合 rollout-filter-label 数据挖掘管线,可为视觉驱动的端到端规划提供「先想后做」的可复用范式,尤其适合需要安全约束的轨迹生成任务。
Context-Nav:面向实例导航的上下文驱动探索与视角感知三维空间推理
Context-Nav: Context-Driven Exploration and Viewpoint-Aware 3D Spatial Reasoning for Instance Navigation
把长文本描述编码成稠密文本-图像对齐的价值图来给前沿点排序,作为探索先验;再用采样观察位姿、对齐局部坐标系做三维空间关系校验来判定候选,这套「价值图引导探索 + 视角感知关系验证」的零训练流程可直接迁移到具身导航与开放词表目标定位中。
接触感知神经动力学
Contact-Aware Neural Dynamics
把现成物理仿真器当作基础先验、用真实触觉接触信号学习残差式神经动力学模型,这一思路可直接迁移到视觉驱动的机器人操作策略评估与精修,也可为视觉接触状态估计提供监督信号设计参考。
ConsisVLA-4D:面向机器人操作,在高效三维感知与四维推理中推进时空一致性
ConsisVLA-4D: Advancing Spatiotemporal Consistency in Efficient 3D-Perception and 4D-Reasoning for Robotic Manipulation
对做视觉研究的人,这篇提供了不依赖额外深度传感器、仅从多视角 2D 观测构建紧凑潜变量几何 token 的思路(CO-Fuser),以及用跨视角物体身份对齐来保证语义一致性的做法(CV-Aligner),可直接迁移到需要多视角一致表征的 VLA 或具身操作策略中。
世界之链:潜运动中的世界模型思维
Chain of World: World Model Thinking in Latent Motion
把预训练视频 VAE 显式分解出的结构/运动潜变量当作「潜运动链」来预测,替代逐帧重建未来画面,为视觉研究者提供了一种在潜空间做时序世界建模、并与动作序列联合自回归的紧凑方案,可直接迁移到机器人策略学习与视频预测任务。
CUBic:协调统一的双臂感知与控制框架
CUBic: Coordinated Unified Bimanual Perception and Control Framework
把双臂协调建模为共享 token 化表征问题,用两个共享映射的码本实现双向感知协调,再接扩散策略输出动作;对做视觉运动策略的人,这是一套可复用的「感知表征统一 + 扩散动作头」范式,可直接迁移到其他多智能体或多末端操作设定。
CLaD:通过跨模态潜变量动力学进行有据前瞻的规划
CLaD: Planning with Grounded Foresight via Cross-Modal Latent Dynamics
把本体感知与语义状态用非对称交叉注意力对齐成统一的潜空间动力学,并用自监督预测未来潜变量来条件化扩散策略;做视觉-动作联合建模或机器人操作策略学习时,这套『预测有据的潜变量前瞻 + 扩散动作生成』结构可直接复用。
弥合2D-3D鸿沟:面向视觉语言导航的分层语义-几何地图
Bridging the 2D-3D Gap: A Hierarchical Semantic-Geometric Map for Vision Language Navigation
将3D几何信息编码为多通道俯视地图(几何/语义/决策三层),使VLM能直接读取空间布局并选择几何有效的路点,为视觉语言导航提供了一种可复用的空间表示与解耦规划框架。
BridgeEQA:面向真实桥梁巡检的虚拟具身智能体
BridgeEQA: Virtual Embodied Agents for Real Bridge Inspections
将基础设施巡检建模为情景记忆具身问答任务,并提出以马尔可夫决策过程求解的 EMVR 框架;其『引用相关图像』的评测指标与长程多尺度空间推理设定,可迁移到需要跨视角检索证据的视觉语言任务。
利用可行动作邻域先验提升视觉-语言-动作模型微调
Boosting Vision-Language-Action Finetuning with Feasible Action Neighborhood Prior
对做 VLA/机器人策略学习的人,这篇给出了一个可直接复用的正则化手段:把「每个状态存在一族近似等价动作」这一物理先验编码成高斯输出分布约束,替代从语言模型直接继承的交叉熵式训练,从而在 SFT 与 RFT 两种微调范式下同时提升样本效率与 OOD 成功率。
BiPreManip:通过前瞻性协作学习基于可供性的双臂预备操作
BiPreManip: Learning Affordance-Based Bimanual Preparatory Manipulation through Anticipatory Collaboration
把视觉可供性作为双臂之间的共享中间表示,先预测目标动作的可供性、再反推预备动作,这种「可供性前瞻推理」可直接迁移到其他长程操作与工具使用任务中,作为跨臂/跨步骤的协调接口。
超越成功:通过即时干预从混合质量数据中精炼优雅的机器人操作
Beyond Success: Refining Elegant Robot Manipulation from Mixed-Quality Data via Just-in-Time Intervention
提出一种与基础 VLA 策略解耦的「优雅性评论家」加推理时按需干预机制:用离线校准 Q 学习估计候选动作的执行质量,仅在评论家置信度低的决策关键点介入。做 VLA 策略后处理、动作质量重排序或推理时对齐的视觉研究者可直接复用该「评论家+选择性干预」范式,无需重训大模型。
超越基于规则的智能体:面向自动驾驶中真实多智能体交互的主动马尔可夫博弈
Beyond Rule-Based Agents: Active Markov Games for Realistic Multi-Agent Interaction in Autonomous Driving
把驾驶交互建模为状态转移与奖励随智能体策略演化的主动马尔可夫博弈,并用自我车辆策略与多样化对手策略池协同进化训练,可直接用于视觉感知驱动的端到端驾驶策略在非平稳对手下的鲁棒性提升与长尾场景评测。
超越模仿:从人际示范中学习全身人-人形机器人交互
Beyond Mimicry: Learning Whole-Body Human-Humanoid Interaction from Human-Human Demonstrations
PAIR 的接触中心两阶段重定向思路可迁移到任意跨形态动作迁移(如人手到机械手、人体到虚拟人),其核心是显式保留接触语义而非只对齐关节轨迹;D-STAR 的「何时动/何处动」解耦加扩散检测头结构,为视觉-动作联合建模提供了一种可复用的分层策略设计。
AwareVLN:面向视觉语言导航的自感知推理
AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation
将自感知推理机制引入端到端视觉语言导航,通过结构化推理模块让模型显式理解智能体状态与任务进度,为具身智能体提供可解释的决策依据,可复用于其他需要状态感知的视觉导航任务。
AtomicVLA:释放机器人中原子技能学习的潜力
AtomicVLA: Unlocking the Potential of Atomic Skill Learning in Robots
对做视觉-语言-动作模型的人,这篇给出一种把长程操作拆成原子技能、用技能引导的混合专家(SG-MoE)加路由编码器动态分配专家的做法,可直接借鉴到需要持续学习新技能的机器人策略中,替代单一动作解码器。
AstraNav-Memory:面向长时记忆的上下文压缩
AstraNav-Memory: Contexts Compression for Long Memory
用冻结 DINOv3 特征加 PixelUnshuffle+Conv 构成的轻量视觉分词器把每帧压到约 30 个 token,使 VLM 策略能在单上下文里塞进数百帧历史;这套「图像中心压缩记忆」可直接迁移到任何需要长视觉历史输入的 VLM/具身策略中。
Arcadia:面向具身终身学习的全生命周期框架
Arcadia: Toward a Full-Lifecycle Framework for Embodied Lifelong Learning
把生成式场景重建与增强当作闭环中的数据引擎,为导航与操作策略持续生成可扩展的仿真训练场景,并用仿真到现实的自适应评估回灌真实数据,这一「生成式仿真更新」环节对做具身视觉与仿真数据扩增的研究者可直接复用。
可供性场干预:使视觉-语言-动作模型摆脱机器人操作中的记忆陷阱
Affordance Field Intervention: Enabling VLAs to Escape Memory Traps in Robotic Manipulation
把 3D 空间可供性场当作 VLA 的按需插件:用本体感知检测记忆陷阱、重定位到高可供性区域、以可供性路径点锚定动作并做轨迹打分,为视觉研究者提供了一个可复用的「显式 3D 几何先验补足端到端策略空间推理」的框架。
AffordGen:借助可供性对应为可泛化物体操作生成多样化示范
AffordGen: Generating Diverse Demonstrations for Generalizable Object Manipulation with Affordance Correspondence
利用视觉基础模型在大规模三维网格上建立关键点语义对应,从而把已有操作轨迹迁移到几何形状不同的新物体上,为视觉研究者提供了一条用三维生成模型扩充机器人操作数据、并训练闭环视觉运动策略的可复用路径。
面向视觉-语言-动作模型的推理时自适应动作分块
Adaptive Action Chunking at Inference-time for Vision-Language-Action Models
提出用动作熵作为推理时自适应选择动作分块大小的线索,可被其他 VLA 模型直接复用,以平衡响应速度与动作一致性。
AdaDexTrack:面向自适应与可泛化灵巧操作跟踪的动态调制
AdaDexTrack: Dynamic Modulation for Adaptive and Generalizable Dexterous Manipulation Tracking
把语言条件下的灵巧操作重构为「调制式跟踪」:用蒸馏得到的通才跟踪器承载技能,再用 RL 训练的调制器在线修正参考轨迹、物体潜表示与位置目标,可直接借鉴到视觉驱动的机器人操作与手-物交互策略中,尤其是缓解噪声参考与重定向偏差导致的漂移。
ActiveVLA:将主动感知注入视觉-语言-动作模型以实现精确三维机器人操作
ActiveVLA: Injecting Active Perception into Vision-Language-Action Models for Precise 3D Robotic Manipulation
把主动视角选择与三维区域放大引入 VLA 策略,为视觉研究者提供了一个可复用的思路:在精细操作中动态挑选最优视角与分辨率,而不是依赖固定的腕部相机;其多视图投影定位关键三维区域的做法也可迁移到其他需要空间聚焦的视觉任务。
ActiveGrasp:基于校准能量模型的分布信息引导主动抓取
ActiveGrasp: Information-Guided Active Grasping with Calibrated Energy-based Model
把抓取位姿分布建模为 SE(3) 流形上的校准能量模型,并用其条件分布的信息增益来驱动下一最佳视角选择,为主动感知/主动重建中的视角规划提供了一个可复用的「分布级」信息度量思路。
Action-Sketcher:通过视觉草图从推理到动作的机器人操作
Action-Sketcher: From Reasoning to Action via Visual Sketches for Robotic Manipulation
提出可渲染点、框、箭头和关系类型的视觉草图作为中间表示,将语言意图外化为场景几何,为视觉-语言-动作模型提供可验证的推理-动作桥梁,可复用于需要空间消歧的机器人操作任务。
面向双臂操作的动作-几何预测与3D几何先验
Action-Geometry Prediction with 3D Geometric Prior for Bimanual Manipulation
把预训练3D几何基础模型作为策略的感知骨干,用扩散模型联合预测动作块与未来3D latent(解码为稠密点图),为视觉研究者提供了一条仅用RGB观测就获得几何感知与场景演化预测的可复用路线,可迁移到其他需要空间推理的视觉-动作任务。
AVA-VLA:利用主动视觉注意力改进视觉-语言-动作模型
AVA-VLA: Improving Vision-Language-Action models with Active Visual Attention
将部分可观测马尔可夫决策过程引入VLA策略学习,用循环状态近似历史信念,并基于此设计主动视觉注意力动态重加权当前视觉token,为视觉研究者提供了一种时序感知的视觉特征选择机制,可复用于需要历史推理的视觉决策任务。
AURA:面向城市导航的多模态共享自主
AURA: Multi-modal Shared Autonomy for Urban Navigation
把城市导航拆成高层人类指令与低层 AI 控制,并用空间感知指令编码器把语言指令对齐到视觉与空间上下文,这个「指令-空间对齐 + 在线自适应」的接口设计可直接迁移到视觉语言导航与具身智能体的共享控制中。
AT-VLA:面向视觉-语言-动作模型增强反馈反应的自适应触觉注入
AT-VLA: Adaptive Tactile Injection for Enhanced Feedback Reaction in Vision-Language-Action Models
提出自适应触觉注入机制,动态决定触觉信号注入的时机和位置,避免微调时破坏预训练VLA的表征;双流架构将慢速视觉-语言流与快速触觉控制流解耦,实现0.04秒实时闭环,为视觉-语言-动作模型在接触丰富操作中融合触觉反馈提供了可复用方案。
APEX:一种面向异步空中物体目标导航的解耦记忆探索器
APEX: A Decoupled Memory-based Explorer for Asynchronous Aerial Object Goal Navigation
把 VLM 的零样本空间语义理解与开放词表检测器解耦成异步并行的记忆-决策-定位三模块,绕开 VLM 推理延迟,这一「慢感知快决策」的异步分层范式可直接迁移到其他视觉导航与具身探索任务。
AGiLe:通过可供性落地的双向潜变量规划学习鲁棒长程操作
AGiLe: Learning Robust Long-Horizon Manipulation via Affordance-Grounded Bidirectional Latent Planning
将抽象子目标落地为稠密像素级视觉可供性图来驱动动作,为视觉-动作策略提供可复用的空间定位与抗干扰机制;双向潜空间规划(后向规划器+前向评论家)可缓解长程任务中的误差累积。
ACoT-VLA:面向视觉-语言-动作模型的动作思维链
ACoT-VLA: Action Chain-of-Thought for Vision-Language-Action Models
将思维链从语言/视觉空间迁移到动作空间,用粗动作意图序列作为中间推理步骤来条件化下游动作头,为视觉-语言-动作策略提供了一种可复用的推理增强范式。