视觉语言模型 / CVPR2026
看、想、做:通过识别开关状态教多模态智能体有效交互图形用户界面
See, Think, Act: Teaching Multimodal Agents to Effectively Interact with GUI by Identifying Toggles
把「当前状态感知」显式引入多模态智能体的推理链,对做 GUI 视觉定位与指令遵循的研究者提供了一个可复用的两阶段范式:先读当前视觉状态,再与指令目标状态比对后决策,可迁移到任何需要状态判断的视觉交互任务。
多模态智能体GUI-交互状态感知推理