Tag · 14 篇
GUI-智能体
iSHIFT：带自适应感知的轻量级慢快 GUI 智能体
iSHIFT: Lightweight Slow-Fast GUI Agent with Adaptive Perception
把「慢/快」双模式推理与感知 token 结合，让 2.5B 的 MLLM 按任务难度自适应决定推理深度与注视区域；做视觉定位或高分辨率界面理解时，可借鉴其用特殊 token 引导注意力到局部区域、以隐式思维链替代显式长链推理来省算力的做法。
WebChain：一个大规模人工标注的真实网页交互轨迹数据集
WebChain: A Large-Scale Human-Annotated Dataset of Real-World Web Interaction Traces
提供带视觉-结构-动作三重对齐的真实网页交互轨迹，可用于训练和评测 GUI 智能体的空间视觉定位与规划解耦能力，WebChainBench 可作为视觉智能体定位任务的评测协议参考。
观看并学习：从在线视频中学习使用计算机
Watch and Learn: Learning to Use Computers from Online Videos
把「从连续屏幕状态反推用户动作」的逆动力学建模思路，可直接迁移到视觉示教学习与视频到动作的标注流程中，为从无标注视频自动构造可执行轨迹提供了一套可复用的检索+标注管线。
ShowUI-p：基于流的生成模型作为 GUI 灵巧手
ShowUI-p: Flow-based Generative Models as GUI Dexterous Hands
将流匹配生成模型用于 GUI 连续拖拽动作的闭环控制，为视觉智能体提供了一种从屏幕视觉观测直接生成平滑轨迹的轻量动作专家设计，可迁移到其他需要连续交互的视觉-动作任务。
OS-Oracle：跨平台 GUI 批评模型的综合框架
OS-Oracle: A Comprehensive Framework for Cross-Platform GUI Critic Models
为视觉语言模型在 GUI 环境中的动作评估提供了可扩展的数据合成流程和两阶段训练范式（SFT + CP-GRPO），可直接用于提升多模态智能体的长程任务可靠性。
HiconAgent：面向 GUI 智能体的历史上下文感知策略优化
HiconAgent: History Context-aware Policy Optimization for GUI Agents
把「历史观测该保留多少」变成策略优化里的显式变量：DCS 在采样阶段给智能体不同长度的历史，AHC 用双分支（压缩分支丢观测、保留动作作为信息流锚点）加对齐损失约束两分支一致，这套「变长历史采样 + 压缩分支对齐」可直接迁移到视频/多帧输入的视觉决策模型，用来在长时序视觉上下文下省算力。
HATS：面向 GUI 智能体的难度感知轨迹合成
HATS: Hardness-Aware Trajectory Synthesis for GUI Agents
对做 VLM 智能体数据的人来说，这篇给出了一个可复用的思路：用「语义歧义程度」作为难度信号来驱动轨迹采集，并用指令-执行一致性校验做闭环修复，可直接迁移到其他视觉-语言序列决策任务的数据构造中。
GUIDE：面向开放式 GUI 任务中理解与辅助用户的基准
GUIDE: A Benchmark for Understanding and Assisting Users in Open-Ended GUI Tasks
为视觉研究者提供了一个屏幕录制序列上的行为状态识别与意图预测基准，可用于训练和评测多模态大模型对连续界面操作序列的时序理解与用户建模能力，并验证了结构化用户上下文对辅助决策的显著增益。
GUI-SAGE：以自解释学习增强 GUI 自动化
GUI-SAGE: Enhancing GUI Automation with Self-Explanatory Learning
对做视觉智能体（GUI/具身）的人，这篇给出一个可复用思路：用真值动作条件化生成同分布推理轨迹，替代分布外专家示范，避免熵坍缩；配合熵调制的信用分配，把置信度与奖励联合加权，可直接迁移到视觉-语言-动作策略的 RL 微调。
GUI-CEval：面向移动 GUI 智能体的分层综合中文基准
GUI-CEval: A Hierarchical and Comprehensive Chinese Benchmark for Mobile GUI Agents
对做多模态 GUI 智能体的视觉研究者，它提供了基于真实设备的中文评测协议，把感知、规划、反思、执行、评估拆成原子能力与端到端两级，可直接用来诊断 MLLM 在反思决策与动作后自评上的短板，也可作为训练/微调后的验证基准。
FocusUI：通过位置保持的视觉词元选择实现高效 UI 视觉定位
FocusUI: Efficient UI Grounding via Position-Preserving Visual Token Selection
针对高分辨率截图词元冗余问题，提出指令条件化 patch 级监督与 PosPad 位置连续性保持的视觉词元选择方案，可直接迁移到任意高分辨率 VLM 的视觉编码压缩与定位任务中。
Demo2Tutorial：从人类经验到多模态软件教程
Demo2Tutorial: From Human Experience to Multimodal Software Tutorials
论文将屏幕录制与交互日志转化为结构化图文教程，其多模态动作解析与步骤规划思路可迁移到视觉-语言模型中的指令生成与GUI智能体训练，为利用无标注人类交互数据提供了一种可复用的表征蒸馏方法。
CGL：通过强化微调推进持续 GUI 学习
CGL: Advancing Continual GUI Learning via Reinforcement Fine-Tuning
对做多模态 GUI 智能体或 VLM 智能体持续学习的人，这篇给出了 SFT 与 RL（GRPO）混合训练时避免灾难性遗忘的具体手段：用策略熵调节 SFT 比例，并把 SFT 梯度投影到 GRPO 锚框梯度上做梯度手术，可直接迁移到其他 VLM 智能体的增量适配场景。
AdapAction：针对 GUI 智能体的自适应目标动作后门攻击
AdapAction: Adaptive Target Action Backdoor Attack against GUI Agents
对做多模态 GUI 智能体或 VLM 智能体安全的研究者，这篇给出了一个「上下文感知型后门」的攻击范式：触发器不再映射到固定动作，而是让模型按当前界面状态与指令自行选择语义连贯的恶意动作，因此基于指令一致性、视觉连贯性、安全性的 LLM 防御难以识别；可作为构建智能体安全评测与防御（如动作级一致性校验、状态-动作因果审计）的基线攻击。