Tag · 5 篇
任务规划
基于执行反馈强化学习训练高层调度器用于长程GUI自动化
Training High-Level Schedulers with Execution-Feedback Reinforcement Learning for Long-Horizon GUI Automation
提出了一种基于执行反馈强化学习训练高层调度器（Coordinator和State Tracker）的方法，可即插即用地增强任意低层执行器在长程GUI自动化任务中的规划与状态管理能力，为视觉语言模型在复杂交互任务中的多智能体协同提供了可复用的训练范式。
RoboAgent：链式组合基础能力实现具身任务规划
RoboAgent: Chaining Basic Capabilities for Embodied Task Planning
把长程具身规划拆解为调度器加多个子能力（各自维护独立上下文）的单一 VLM 调用链，并用仿真器内部信息为每个子能力构造监督，这一「能力链式调用 + 多阶段训练」范式可直接迁移到视觉导航、视觉操作等需要多轮视觉观测推理的任务。
编辑即行动：面向开放词表3D室内场景编辑的目标回归规划
Edit-As-Act: Goal-Regressive Planning for Open-Vocabulary 3D Indoor Scene Editing
将自然语言指令转化为3D空间中的符号化动作序列，通过PDDL启发的动作语言显式编码支撑、接触、碰撞等几何关系，为开放词表3D场景编辑提供可解释、物理一致的规划框架，可复用于具身智能中的场景操作与交互。
Demo2Tutorial：从人类经验到多模态软件教程
Demo2Tutorial: From Human Experience to Multimodal Software Tutorials
论文将屏幕录制与交互日志转化为结构化图文教程，其多模态动作解析与步骤规划思路可迁移到视觉-语言模型中的指令生成与GUI智能体训练，为利用无标注人类交互数据提供了一种可复用的表征蒸馏方法。
CLiViS：借助语言-视觉协同释放认知地图以赋能具身视觉推理
CLiViS: Unleashing Cognitive Map through Linguistic-Visual Synergy for Embodied Visual Reasoning
提出免训练的 LLM 规划 + VLM 开放世界感知协同框架，并用动态认知地图作为结构化场景表示，可复用于长时第一人称视频的逐步组合推理与长程视觉依赖建模。