Tag · 33 篇
视觉语言动作模型
当机器人服从补丁：针对视觉-语言-动作模型的通用可迁移补丁攻击
When Robots Obey the Patch: Universal Transferable Patch Attacks on Vision-Language-Action Models
提出一种在共享特征空间中学习通用对抗补丁的框架，结合特征偏移、注意力主导和语义错配损失，可迁移到未知架构的VLA模型，为视觉-语言-动作系统的安全性评估和防御提供了可复用的攻击基线。
VLA 模型比你想象的更具泛化性：重新审视物理建模与空间建模
VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling
对做 VLA/机器人策略的视觉研究者：只需在 ViT 视觉词元上做全局仿射调制（4K 参数）或低秩更新，就能把新视角下的成功率从 48.5% 拉到 87–91%，说明预训练 VLA 的视觉表征本身已具备未被利用的鲁棒性，瓶颈在空间建模对齐而非物理建模；这套轻量视觉重校准可直接复用到自己的 VLA 微调流程中。
通过显式从失败中学习释放自动驾驶中的 VLA 潜力
Unleashing VLA Potentials in Autonomous Driving via Explicit Learning from Failures
对做自动驾驶 VLA 的研究者，这篇论文给出了一种把失败诊断的结构化文本反馈转成高奖励修正样本、再注入 RL 训练批次的做法，可用来突破 SFT 后 RL 探索受限导致的性能平台期，尤其适用于长尾场景中奖励稀疏的规划任务。
SwiftVLA：以极小开销为轻量 VLA 模型解锁时空动态
SwiftVLA: Unlocking Spatiotemporal Dynamics for Lightweight VLA Models at Minimal Overhead
用预训练的 4D 视觉几何 Transformer 加时序缓存，从 2D 图像流增量提取 4D 特征，再通过可学习的 Fusion Tokens 与未来预测目标把 4D 特征注入轻量 VLM；掩码重建策略让 4D 分支在推理时可丢弃，为视觉侧提供了一条「训练时用几何先验、部署时零开销」的可复用范式。
SocialNav：训练受人类启发的社会感知具身导航基础模型
SocialNav: Training Human-Inspired Foundation Model for Socially-Aware Embodied Navigation
提出基于流匹配的强化学习框架 SAFE-GRPO，将社会合规性作为奖励信号融入导航策略优化，为视觉导航中的社会规范学习提供了可复用的训练范式。
RehearseVLA：面向 VLA 的物理一致世界模型模拟后训练
RehearseVLA: Simulated Post-Training for VLAs with Physically-Consistent World Model
用世界模型生成时序一致的未来视觉观测来替代真实环境交互，为 VLA 做安全的 RL 后训练；其中 VLM 引导的即时反射器同时充当连续奖励与动作终止判别器，这一『视觉预测+奖励/终止联合建模』思路可迁移到任何需要在线评估的视觉策略学习场景。
Progress-Think：面向视觉语言导航的语义进度推理
Progress-Think: Semantic Progress Reasoning for Vision-Language Navigation
把「指令执行到哪一步」显式建模为语义进度状态，并用视觉历史与指令前缀的可微对齐自举出该状态，再注入策略上下文——这套进度表征可直接迁移到任何长程视觉-语言序列决策任务（如视频指令跟随、具身操作），也可作为VLA模型的辅助推理头。
PALM：面向长程机器人操作、经由可供性推理的进度感知策略学习
PALM: Progress-Aware Policy Learning via Affordance Reasoning for Long-Horizon Robotic Manipulation
把可供性（物体相关性、接触几何、空间摆放、运动动态）作为视觉-运动控制的中间表征来蒸馏，并配合连续子任务进度预测，为 VLA 类模型提供可复用的长程执行稳定化思路。
OmniVGGT：全模态驱动的视觉几何基础 Transformer
OmniVGGT: Omni-Modality Driven Visual Geometry Grounded Transformer
GeoAdapter 通过零初始化卷积将深度与相机内外参注入空间基础模型，配合随机模态子集训练，使模型在推理时可灵活利用任意数量辅助几何输入而不牺牲速度，为多视图三维重建与相机姿态估计提供了可复用的多模态融合范式。
OctoNav：迈向通用具身导航
OctoNav: Towards Generalist Embodied Navigation
把 MLLM 改造成仅凭 2D 视觉观测输出低层动作的 VLA 模型，并用 TBA-CoT 数据加 GRPO 做「先思考后行动」的强化学习训练，为视觉研究者提供了将推理链注入具身导航策略的可复用范式。
NoRD：一种无需推理的数据高效视觉-语言-动作模型
NoRD: A Data-Efficient Vision-Language-Action Model that Drives without Reasoning
对做自动驾驶VLA的研究者，这篇论文表明无需推理标注、仅用不到60%数据，通过Dr.GRPO强化学习微调SFT策略即可达到竞争性性能，且推理词元减少3倍，为数据高效、低延迟的端到端驾驶模型提供了可复用的训练范式。
MergeVLA：面向通用视觉-语言-动作智能体的跨技能模型合并
MergeVLA: Cross-Skill Model Merging Toward a Generalist Vision-Language-Action Agent
提出面向模型合并的VLA架构设计：用任务掩码稀疏激活LoRA适配器保持VLM骨干参数一致，并将动作专家中的自注意力替换为纯交叉注意力块以保持技能模块化，为多技能机器人策略合并提供可复用方案。
定位、结构化与渲染：连接3D与2D视觉-语言-动作模型用于机器人操作
Localizing, Structuring, and Rendering: Bridging 3D and 2D Vision-Language-Action Models for Robotic Manipulation
将可微渲染作为连接3D几何推理与2D视觉语义的桥梁，通过生成可微图像并让2D VLA的梯度回传到3D表示，为视觉研究者提供了一种融合显式3D空间关系与图像级语义的通用手段，可借鉴到需要空间推理的视觉任务中。
学会看与做：面向机器人操作的任务感知虚拟视角探索
Learning to See and Act: Task-Aware Virtual View Exploration for Robotic Manipulation
把「选视角」本身建模为可学习策略，并在重建的场景表示上按所选虚拟相机重渲染观测，这为视觉研究者提供了一条绕开固定相机与遮挡的通用思路：用可微/可重渲染的场景表示做主动感知，而不是被动接受输入图像。
IPR-1：交互式物理推理器
IPR-1: Interactive Physical Reasoner
用世界模型 rollout 作为奖励信号来强化 VLM 策略，并用物理中心动作码（PhysCode）对齐语义意图与动力学，为视觉研究者提供了一种在交互环境中把预测模型与推理模型耦合的可复用范式。
INSIGHT基准：面向机器人操作的场景内引导视觉定位
INSIGHT Bench: Towards Grounded IN-SItu Guidance for Robotic ManipulaTion
论文提出的“in-situ guide grounding”任务要求视觉语言动作模型（VLA）理解物体上的文字和符号（如“PULL”），这为视觉定位研究提供了新的场景和评测基准；其可扩展的仿真框架和程序化生成方法可用于训练和评估模型对物体中心信息的理解能力。
HybridDriveVLA：面向自动驾驶的视觉思维链推理与思维树评估的视觉-语言-动作模型
HybridDriveVLA: Vision-Language-Action Model with Visual CoT reasoning and ToT Evaluation for Autonomous Driving
将视觉思维链（V-CoT）用于预测未来场景作为目标，并结合思维树（ToT）对候选轨迹从安全、进度、舒适度多维度评分，为自动驾驶中的轨迹规划提供可解释的推理框架。
全局先验遇上局部一致性：面向高效机器人操作的双记忆增强视觉-语言-动作模型
Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation
用检索到的任务级先验替代高斯噪声来缩短扩散策略的生成路径，并用局部一致性记忆约束时序平滑，可直接迁移到视觉-语言-动作模型的少步动作生成与长程操作任务。
GeoPredict：利用预测式运动学与 3D 高斯几何实现精确的 VLA 操作
GeoPredict: Leveraging Predictive Kinematics and 3D Gaussian Geometry for Precise VLA Manipulation
把 3D 高斯几何预测与关键点轨迹预测作为训练期监督（通过深度渲染），推理时只加少量 query token、不做 3D 解码——这套「重监督、轻推理」的几何先验注入方式可直接迁移到任何连续动作 VLA 策略上，用来补足其 2D 反应式的空间推理短板。
ForeAct：以高效视觉预见规划引导视觉语言动作模型
ForeAct: Steering Your VLA with Efficient Visual Foresight Planning
把「想象未来观测」作为可插拔的视觉输入增强，让 VLA 从高层语义推理中解放出来专注视觉-运动推理；其 0.33s 生成 640x480 预见图像的轻量生成模块与百万级跨具身预训练思路，可直接迁移到任何以图像为输入的策略模型上。
FLARE：面向视觉-语言机器人操作的故障感知自主纠正与恢复框架
FLARE: A Failure-Aware Framework for Autonomous Correction and Recovery in Visual-Language Robotic Manipulation
为视觉-语言-动作模型引入基于多模态大语言模型（MLLM）的在线故障监控与重置技能库，使机器人能从执行失败中自主恢复；该“重试-重置”范式可迁移到其他具身视觉任务中提升鲁棒性。
Evo-1：保持语义对齐的轻量级视觉语言动作模型
Evo-1: Lightweight Vision-Language-Action Model with Preserved Semantic Alignment
提出一种轻量级视觉语言动作模型架构，通过跨模态扩散Transformer和两阶段训练保持视觉语言骨干的语义对齐，为视觉研究者提供将VLM高效适配到机器人控制任务的思路，并展示了在低参数量下实现实时推理的可行性。
DrivePI：面向统一自动驾驶理解、感知、预测与规划的空间感知 4D 多模态大语言模型
DrivePI: Spatial-aware 4D MLLM for Unified Autonomous Driving Understanding, Perception, Prediction and Planning
DrivePI 将点云、多视角图像与语言指令统一到单个 MLLM 中，并行输出 3D 占用、占用流与规划动作，为视觉研究者提供了一个可复用的端到端 4D 空间理解与预测框架，尤其适合探索小参数量 MLLM 在自动驾驶感知-预测-规划联合建模中的潜力。
DriveMoE：面向端到端自动驾驶视觉-语言-动作模型的混合专家方法
DriveMoE: Mixture-of-Experts for Vision-Language-Action Model in End-to-End Autonomous Driving
DriveMoE 将 MoE 引入端到端自动驾驶的 VLA 框架，其视觉 MoE 通过路由器自适应选择相关相机视角，动作 MoE 通过路由器激活驾驶行为专家，这种按需激活专家的思路可复用于多视角感知与多模态动作生成任务，缓解模式平均问题。
通过视觉符号诊断、纠正并学习操作失败
Diagnose, Correct, and Learn from Manipulation Failures via Visual Symbols
用显式视觉符号（如箭头、标记）作为中间表示来标注和生成纠正动作，为 VLA 失败恢复提供了一种可复用的视觉提示与数据构造范式；ViFailback-Bench 的 11 项细粒度 VQA 任务也可直接用于评测 VLM 的具身失败诊断能力。
反事实 VLA：具备自适应推理的自反思视觉-语言-动作模型
Counterfactual VLA: Self-Reflective Vision-Language-Action Model with Adaptive Reasoning
把反事实自反思作为 VLA 执行前的推理环节，并配合 rollout-filter-label 数据挖掘管线，可为视觉驱动的端到端规划提供「先想后做」的可复用范式，尤其适合需要安全约束的轨迹生成任务。
ConsisVLA-4D：面向机器人操作，在高效三维感知与四维推理中推进时空一致性
ConsisVLA-4D: Advancing Spatiotemporal Consistency in Efficient 3D-Perception and 4D-Reasoning for Robotic Manipulation
对做视觉研究的人，这篇提供了不依赖额外深度传感器、仅从多视角 2D 观测构建紧凑潜变量几何 token 的思路（CO-Fuser），以及用跨视角物体身份对齐来保证语义一致性的做法（CV-Aligner），可直接迁移到需要多视角一致表征的 VLA 或具身操作策略中。
ColaVLA：利用认知潜变量推理实现自动驾驶中的层级并行轨迹规划
ColaVLA: Leveraging Cognitive Latent Reasoning for Hierarchical Parallel Trajectory Planning in Autonomous Driving
把 VLM 的文本思维链推理迁移到统一潜空间，并用层级并行解码器一次前向输出多尺度轨迹，为视觉研究者提供了「潜变量推理 + 并行轨迹头」这一可复用范式，可显著降低 VLM 规划器的自回归延迟。
CogDriver：融合认知惯性实现自动驾驶中的时序连贯规划
CogDriver: Integrating Cognitive Inertia for Temporally Coherent Planning in Autonomous Driving
对做自动驾驶端到端规划的人，这篇给出了用稀疏时序记忆维持稳定内部状态、并用时空知识蒸馏显式监督决策连贯性的做法，可直接迁移到基于 VLM 的闭环规划器中抑制决策抖动。
AstraNav-Memory：面向长时记忆的上下文压缩
AstraNav-Memory: Contexts Compression for Long Memory
用冻结 DINOv3 特征加 PixelUnshuffle+Conv 构成的轻量视觉分词器把每帧压到约 30 个 token，使 VLM 策略能在单上下文里塞进数百帧历史；这套「图像中心压缩记忆」可直接迁移到任何需要长视觉历史输入的 VLM/具身策略中。
Action-Sketcher：通过视觉草图从推理到动作的机器人操作
Action-Sketcher: From Reasoning to Action via Visual Sketches for Robotic Manipulation
提出可渲染点、框、箭头和关系类型的视觉草图作为中间表示，将语言意图外化为场景几何，为视觉-语言-动作模型提供可验证的推理-动作桥梁，可复用于需要空间消歧的机器人操作任务。
AVA-VLA：利用主动视觉注意力改进视觉-语言-动作模型
AVA-VLA: Improving Vision-Language-Action models with Active Visual Attention
将部分可观测马尔可夫决策过程引入VLA策略学习，用循环状态近似历史信念，并基于此设计主动视觉注意力动态重加权当前视觉token，为视觉研究者提供了一种时序感知的视觉特征选择机制，可复用于需要历史推理的视觉决策任务。
ACoT-VLA：面向视觉-语言-动作模型的动作思维链
ACoT-VLA: Action Chain-of-Thought for Vision-Language-Action Models
将思维链从语言/视觉空间迁移到动作空间，用粗动作意图序列作为中间推理步骤来条件化下游动作头，为视觉-语言-动作策略提供了一种可复用的推理增强范式。