Tag · 46 篇
视觉-语言-动作模型
WAM-Flow:基于离散流匹配的并行粗到细运动规划用于自动驾驶
WAM-Flow: Parallel Coarse-to-Fine Motion Planning via Discrete Flow Matching for Autonomous Driving
将离散流匹配引入端到端自动驾驶轨迹规划,用并行双向去噪替代自回归解码,实现可调计算量的粗到细规划;其度量对齐分词器和几何感知流目标可迁移到其他需要结构化输出的视觉任务。
统一感知与动作:一种面向机器人动作生成的隐式视觉思维链混合模态流水线
Unifying Perception and Action: A Hybrid-Modality Pipeline with Implicit Visual Chain-of-Thought for Robotic Action Generation
VITA 将视觉预测与动作生成统一到共享离散潜空间,用自回归 token 同时解码未来帧和动作,为视觉研究者提供了一种把视觉动态作为归纳偏置注入策略学习、缓解模态鸿沟与训练不稳定的可复用范式。
统一语言-动作理解与生成用于自动驾驶
Unifying Language-Action Understanding and Generation for Autonomous Driving
把语言与动作 token 统一进共享离散码本、并用轨迹生成描述文本的辅助理解目标,是可直接迁移到其他 VLA/具身策略学习中的对齐手段;C2F 两步粗到细解码则为自回归动作生成提供了可复用的加速范式。
UniDex:面向通用灵巧手控制的机器人基础套件
UniDex: A Robot Foundation Suite for Universal Dexterous Hand Control from Egocentric Human Videos
对做视觉研究的人,可复用点在于:用显式 3D 点云(并遮掉人手)作为 VLA 的视觉输入来缩小人-机视觉域差,以及 FAAS 这种把功能相似的执行器映射到共享坐标的统一动作空间,可直接迁移到跨本体策略学习与人类视频到机器人轨迹的重定向流程。
面向视觉-语言-动作模型的延迟反馈测试时扰动调优
Test-Time Perturbation Tuning with Delayed Feedback for Vision-Language-Action Models
对做视觉-语言-动作模型的研究者,这篇给出了一个无需微调基座模型、无需额外验证器的测试时自适应流程:用基于不确定性的数据增强加动作投票抑制动作与实体间的伪相关,再用延迟反馈驱动的轻量扰动模块校正动作 logits 的过度自信,可直接迁移到机器人操作策略的部署阶段。
TRM-VLA:面向视觉-语言-动作模型的时序感知思维链推理与记忆
TRM-VLA: Temporal-Aware Chain-of-Thought Reasoning and Memorization for Vision-Language-Action Models
TRM-VLA 将时序感知的思维链推理与记忆机制引入 VLA 模型,其关键帧触发推理(KTR)和粒度自适应上下文记忆(GCM)可被视觉研究者复用于需要长程规划与实时执行的机器人操作任务,为视觉-语言-动作模型的推理效率与一致性提供新思路。
StaMo:从紧凑状态表征中无监督学习可泛化的机器人运动
StaMo: Unsupervised Learning of Generalizable Robot Motion from Compact State Representation
用预训练 DiT 作为解码器,从静态图像编码出仅两个 token 的紧凑状态表征,并通过潜变量插值得到可直接解码为机器人动作的潜动作;对做 VLA、世界模型或从视频/图像中挖掘动作监督的视觉研究者,这是一个可复用的轻量表征与潜动作提取方案。
通过人类视频视觉-物理对齐的空间感知VLA预训练
Spatial-Aware VLA Pretraining through Visual-Physical Alignment from Human Videos
从大规模人类演示视频中自动抽取3D视觉与3D动作标注,作为对齐2D观测与3D空间推理的监督信号;该「视觉-物理对齐预训练」思路可迁移到任何需要从2D视觉输入推断3D动作的视觉-语言-动作模型,为视觉表征注入3D感知特征。
SemanticVLA:通过协同显式轨迹与潜变量动作规划实现超越动作记忆的语义推理
SemanticVLA: Towards Semantic Reasoning over Action Memorization via Synergistic Explicit Trace and Latent Action Planning
对做具身智能与 VLA 的研究者,这篇给出了把 VLM 的预训练空间视觉定位能力直接转成可解释文本坐标轨迹(显式 trace)并与潜变量动作词元互补的规划范式,可作为替代纯动作监督微调的思路,也提供了指令改写鲁棒性的评测视角。
SaPaVe:面向机器人视觉-语言动作模型的主动感知与操作
SaPaVe: Towards Active Perception and Manipulation in Vision-Language Action Models for Robotics
将相机运动作为独立的语义控制动作与操作动作解耦,并用3D几何感知模块提升动态视角下的执行鲁棒性,为视觉-语言-动作模型提供可复用的主动视角控制范式与ActiveViewPose-200K数据。
SRPO:面向视觉-语言-动作模型的自参照策略优化
SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models
用世界模型的潜空间编码替代像素级比较来度量轨迹进度,为视觉驱动的机器人策略提供了一种无需人工奖励工程、可跨环境泛化的稠密奖励构造方式,可直接迁移到其他 VLA 后训练或视觉轨迹评估场景。
RoboWheel:面向跨形态机器人学习的真实世界人类演示数据引擎
RoboWheel: A Data Engine from Real-World Human Demonstrations for Cross-Embodiment Robotic Learning
从单目RGB(D)视频重建手物交互并重定向为跨形态机器人动作,为视觉研究者提供了一条将人类演示视频转化为机器人训练数据的可复用管线,其中基于强化学习的接触与穿透约束优化器可用于提升手物姿态估计的物理合理性。
RC-NF:面向机器人操作实时异常检测的机器人条件归一化流
RC-NF: Robot-Conditioned Normalizing Flow for Real-Time Anomaly Detection in Robotic Manipulation
把归一化流的概率密度当作实时 OOD 打分器,挂在 VLA 模型(如 Pi0)后面做即插即用的异常监控与回滚/重规划触发,为视觉研究者提供了一个可复用的『生成式密度估计做机器人异常检测』范式,以及一个含三类机器人异常的仿真基准。
QuantVLA:面向视觉-语言-动作模型的尺度校准训练后量化
QuantVLA: Scale-Calibrated Post-Training Quantization for Vision-Language-Action Models
为视觉-语言-动作模型提供无需训练的训练后量化方案,可复用于扩散Transformer动作头的低比特部署,并给出注意力温度匹配与输出头平衡等校准技巧。
Motus:统一的潜动作世界模型
Motus: A Unified Latent Action World Model
把光流当作像素级「delta action」来学习潜动作,并用 UniDiffuser 式调度器在同一个 MoT 主干里切换世界模型、VLA、逆动力学与视频生成模式,为视觉研究者提供了「用视频生成先验做机器人动作预训练」的可复用范式。
MoEActok:面向视觉-语言-动作模型的基于混合专家的动作分词器
MoEActok: A MoE-based Action Tokenizer for Vision-Language-Action Models
对做视觉-语言-动作模型的研究者,这篇提供了用聚类驱动的 MoE 量化器把连续动作分块离散化成技能感知 token 的方案,可直接替换 VLA 中单一动作分词器,缓解多技能轨迹上的优化折中,并给出仿真与真机零样本迁移的评测设定。
Mantis:一种具有解耦视觉预见的通用视觉-语言-动作模型
Mantis: A Versatile Vision-Language-Action Model with Disentangled Visual Foresight
把视觉预见预测从 VLA 骨干网络中解耦,用元查询加 DiT 头在残差连接下做下一状态预测,从而隐式捕获潜动作;这一「解耦式视觉预见」结构可直接迁移到任何需要视觉前瞻辅助动作学习的具身策略中。
MM-ACT:从多模态并行生成中学习动作
MM-ACT: Learn from Multimodal Parallel Generation to Act
把文本、图像、动作放进共享词元空间并用 re-mask 并行解码统一生成,为视觉研究者提供了一个可复用的 VLA 架构范式:动作生成可借用扩散/掩码生成的并行解码思路,且跨模态监督能反哺动作预测精度。
MAPS:通过模块级邻近调度保持视觉-语言表征以提升视觉-语言-动作泛化能力
MAPS: Preserving Vision-Language Representations via Module-Wise Proximity Scheduling for Better Vision-Language-Action Generalization
对做 VLA/机器人策略学习的人,这篇给出了一个无需额外参数、可直接插入现有 VLA 的微调调度策略:按模块(视觉编码器 vs 动作导向语言层)差异化地放松对预训练 VLM 的邻近约束,从而在适配下游操作任务的同时保住 OOD 泛化,可直接复用到 OpenVLA 类模型的微调流程中。
学习以视角不变潜动作实现鲁棒行动
Learning to Act Robustly with View-Invariant Latent Actions
把跨轨迹的转移模式压缩成潜动作,并用真实动作序列做引导对齐,为视觉表征注入物理动力学约束;做具身策略或需要视角鲁棒表征时,可把这一潜动作对齐目标当作预训练任务复用。
从跨视图关系学习多视图空间推理
Learning Multi-View Spatial Reasoning from Cross-View Relations
XVR 提供了跨视图对应、关系验证与目标定位三类 VQA 监督信号,可直接用于微调 VLM 以增强多视图空间表征;其数据构造方式(从 3D 场景与机器人轨迹自动生成问答)也可复用于构建其他具身空间推理训练集。
面向端到端自动驾驶的潜变量思维链世界建模
Latent Chain-of-Thought World Modeling for End-to-End Autonomous Driving
把思维链从自然语言搬到与动作同词表的潜空间,并用学习到的潜世界模型 token 表达未来结果,为视觉端到端驾驶提供了一种推理更快、可直接接闭环 RL 后训练的推理时推理范式;其『动作对齐潜空间 + 世界模型 token 交错』的结构可迁移到其他视觉-动作序列决策任务。
面向机器人操作的语言锚定解耦动作表征
Language-Grounded Decoupled Action Representation for Robotic Manipulation
把高层视觉-语言表征与低层动作控制解耦,用语言作为语义桥梁,并以翻译/旋转/夹爪三类动作基元作为细粒度中间层;对做 VLA 或视觉-语言条件策略的研究者,这套「语义引导软标签对比学习 + 课程式自适应权重」可直接迁移到自己的动作头对齐与跨任务泛化上。
LIBERO-Plus:面向视觉-语言-动作模型的渐进式鲁棒性基准
LIBERO-Plus: A Progressive Robustness Benchmark for Visual-Language-Action Models
对做 VLA 或机器人操作策略的视觉研究者,这篇提供了七维度可控扰动的自动化评测协议,可直接用来暴露策略在视角、光照、纹理、传感器噪声变化下的脆弱性,并作为训练时数据增广与鲁棒性改进的对照基准。
联合对齐潜动作:面向野外可扩展视觉-语言-动作预训练
Joint-Aligned Latent Action: Towards Scalable VLA Pretraining in the Wild
JALA 提出一种与逆动力学和真实动作联合对齐的预测性动作嵌入,绕开完整视觉动态重建,为从无标注人类视频中学习可迁移的潜动作表征提供了可复用方案,可直接用于 VLA 预训练的数据扩展。
HiF-VLA:通过运动表征为视觉-语言-动作模型引入回溯、洞察与前瞻
HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models
把帧间运动(而非原始像素)作为紧凑的时序上下文表征,并以此构建以运动为中心的世界模型,为 VLA 提供回溯先验与前瞻推理;这一「运动即上下文」的思路可直接迁移到任何需要长程时序一致性的视觉-动作策略中,且额外推理延迟可忽略。
从观察到动作:面向工业场景VLA预训练的基于潜变量动作的基元分割
From Observation to Action: Latent Action-based Primitive Segmentation for VLA Pre-training in Industrial Settings
提出无监督动作基元分割与潜变量动作序列提取的流程,可直接用于从工业视频中自动构建VLA预训练数据,为具身智能提供可扩展的数据组织方案。
从手册到动作:面向思维链手册生成与机器人操作统一视觉-语言-动作模型
From Manuals to Actions: A Unified VLA Model for Chain-of-Thought Manual Generation and Robotic Manipulation
把多模态手册(图像+视觉提示+文本)作为中间表示,经 ManualCoT 注入动作专家,为长程操作任务提供显式控制条件与隐式潜变量引导;其基于 3D 高斯泼溅的数字孪生数据自动生成管线,可用于低成本扩充机器人操作训练数据。
ForceVLA2:释放面向接触丰富操作的力觉感知混合力位控制
ForceVLA2: Unleashing Hybrid Force-Position Control with Force Awareness for Contact-Rich Manipulation
把力信号作为提示注入 VLM 专家、并用跨尺度 MoE 与实时力做闭环融合,为视觉-语言-动作模型引入力觉通道提供了可复用的架构范式;其多视角图像+力信号的数据集也可用于研究接触丰富场景下的多模态表征。
FlowHijack:一种针对流匹配视觉-语言-动作模型的动力学感知后门攻击
FlowHijack: A Dynamics-Aware Backdoor Attack on Flow-Matching Vision-Language-Action Models
针对流匹配VLA模型的向量场动力学设计后门攻击,揭示了连续动作生成机制的安全漏洞,为视觉-语言-动作模型的鲁棒性评估与防御提供了新方向。
Fast-ThinkAct:通过可言语化潜变量规划实现高效视觉-语言-动作推理
Fast-ThinkAct: Efficient Vision-Language-Action Reasoning via Verbalizable Latent Planning
把显式思维链压缩成可言语化的潜变量规划,并用偏好引导目标把教师的语言与视觉规划能力蒸馏进学生策略,为视觉研究者提供了一条在保持长程规划与失败恢复能力的同时大幅降低 VLA 推理延迟的可复用思路。
FM-Steer:以价值引导的级联去噪增强通用策略
FM-Steer: Enhance Generalist Policies with Value-Guided Cascaded Denoising
对做视觉-语言-动作(VLA)策略的研究者,这篇给出了一个无需重训的测试时增强范式:用中间流验证器对多个噪声动作候选打分并择优,再用轻量去噪器异步精修,从而在保持实时控制频率的同时提升操作性能——可直接迁移到基于扩散/流匹配的视觉运动策略上。
EgoRoC:面向第一人称机器人控制的任任务无关视觉对齐
EgoRoC: Towards Egocentric Robotic Control via Task-Agnostic Visual Alignment
把第一人称腕部相机的视角对齐做成可插拔的6-DoF位姿接口,前置到任意VLA策略之前,并用扩散式在线手眼模块在末端执行器坐标系下修正动作;对做具身视觉的人,这是一种把「看」与「做」解耦、免手眼标定即可跨硬件部署的复用范式。
E3AD:面向以人为中心的端到端自动驾驶的情感感知视觉-语言-动作模型
E3AD: An Emotion-Aware Vision-Language-Action Model for Human-Centric End-to-End Autonomous Driving
把连续 VAD 情感状态作为条件注入 VLA 驾驶策略,并设计自我中心/异我中心双通路空间融合模块;对做端到端驾驶或指令跟随的研究者,这是一个可复用的「语言意图+情感先验→轨迹」条件化范式与一致性对齐训练流程。
走我的路:面向个性化驾驶的视觉-语言-动作模型偏好对齐
Drive My Way: Preference Alignment of Vision-Language-Action Model for Personalized Driving
把驾驶风格编码为用户嵌入并作为规划策略的条件输入,再叠加自然语言指令做短期引导,为端到端驾驶中「个性化/风格可控」提供了一条可复用的条件化 VLA 思路;其个性化驾驶数据集与 Bench2Drive 闭环评测协议也可直接用于评估风格适配能力。
Dejavu:面向具身智能的经验反馈学习
Dejavu: Towards Experience Feedback Learning for Embodied Intelligence
对做 VLA/具身策略的视觉研究者,这篇给出一种不改动冻结策略权重的部署后增强范式:用检索到的历史动作经验作为条件输入,并通过强化学习加语义相似度奖励训练一个轻量 EFN,可直接套用到现有 VLA 上提升成功率与鲁棒性。
CycleManip:通过有效历史感知与理解实现基于周期的操作
CycleManip: Enabling Cycle-based Manipulation via Effective History Perception and Understanding
面向视觉-语言-动作(VLA)模仿策略的即插即用历史感知模块:用代价感知采样挑选历史帧、用多任务学习增强历史理解,可直接嵌入现有 VLA 策略以处理需要精确终止时刻的周期性操作任务。
面向视觉-语言-动作模型的跨手部潜表征
Cross-Hand Latent Representation for Vision-Language-Action Models
把不同灵巧手的关节动作映射到共享的具身无关潜动作空间,可直接插入标准 VLA 架构,为视觉研究者提供一种跨具身数据复用与动作表征对齐的即插即用方案。
世界之链:潜运动中的世界模型思维
Chain of World: World Model Thinking in Latent Motion
把预训练视频 VAE 显式分解出的结构/运动潜变量当作「潜运动链」来预测,替代逐帧重建未来画面,为视觉研究者提供了一种在潜空间做时序世界建模、并与动作序列联合自回归的紧凑方案,可直接迁移到机器人策略学习与视频预测任务。
利用可行动作邻域先验提升视觉-语言-动作模型微调
Boosting Vision-Language-Action Finetuning with Feasible Action Neighborhood Prior
对做 VLA/机器人策略学习的人,这篇给出了一个可直接复用的正则化手段:把「每个状态存在一族近似等价动作」这一物理先验编码成高斯输出分布约束,替代从语言模型直接继承的交叉熵式训练,从而在 SFT 与 RFT 两种微调范式下同时提升样本效率与 OOD 成功率。
超越成功:通过即时干预从混合质量数据中精炼优雅的机器人操作
Beyond Success: Refining Elegant Robot Manipulation from Mixed-Quality Data via Just-in-Time Intervention
提出一种与基础 VLA 策略解耦的「优雅性评论家」加推理时按需干预机制:用离线校准 Q 学习估计候选动作的执行质量,仅在评论家置信度低的决策关键点介入。做 VLA 策略后处理、动作质量重排序或推理时对齐的视觉研究者可直接复用该「评论家+选择性干预」范式,无需重训大模型。
AtomicVLA:释放机器人中原子技能学习的潜力
AtomicVLA: Unlocking the Potential of Atomic Skill Learning in Robots
对做视觉-语言-动作模型的人,这篇给出一种把长程操作拆成原子技能、用技能引导的混合专家(SG-MoE)加路由编码器动态分配专家的做法,可直接借鉴到需要持续学习新技能的机器人策略中,替代单一动作解码器。
可供性场干预:使视觉-语言-动作模型摆脱机器人操作中的记忆陷阱
Affordance Field Intervention: Enabling VLAs to Escape Memory Traps in Robotic Manipulation
把 3D 空间可供性场当作 VLA 的按需插件:用本体感知检测记忆陷阱、重定位到高可供性区域、以可供性路径点锚定动作并做轨迹打分,为视觉研究者提供了一个可复用的「显式 3D 几何先验补足端到端策略空间推理」的框架。
面向视觉-语言-动作模型的推理时自适应动作分块
Adaptive Action Chunking at Inference-time for Vision-Language-Action Models
提出用动作熵作为推理时自适应选择动作分块大小的线索,可被其他 VLA 模型直接复用,以平衡响应速度与动作一致性。
ActiveVLA:将主动感知注入视觉-语言-动作模型以实现精确三维机器人操作
ActiveVLA: Injecting Active Perception into Vision-Language-Action Models for Precise 3D Robotic Manipulation
把主动视角选择与三维区域放大引入 VLA 策略,为视觉研究者提供了一个可复用的思路:在精细操作中动态挑选最优视角与分辨率,而不是依赖固定的腕部相机;其多视图投影定位关键三维区域的做法也可迁移到其他需要空间聚焦的视觉任务。
AT-VLA:面向视觉-语言-动作模型增强反馈反应的自适应触觉注入
AT-VLA: Adaptive Tactile Injection for Enhanced Feedback Reaction in Vision-Language-Action Models
提出自适应触觉注入机制,动态决定触觉信号注入的时机和位置,避免微调时破坏预训练VLA的表征;双流架构将慢速视觉-语言流与快速触觉控制流解耦,实现0.04秒实时闭环,为视觉-语言-动作模型在接触丰富操作中融合触觉反馈提供了可复用方案。