Tag · 4 篇
多模态智能体
看、想、做：通过识别开关状态教多模态智能体有效交互图形用户界面
See, Think, Act: Teaching Multimodal Agents to Effectively Interact with GUI by Identifying Toggles
把「当前状态感知」显式引入多模态智能体的推理链，对做 GUI 视觉定位与指令遵循的研究者提供了一个可复用的两阶段范式：先读当前视觉状态，再与指令目标状态比对后决策，可迁移到任何需要状态判断的视觉交互任务。
ReFAct：赋予多模态网络智能体视觉与上下文聚焦能力
ReFAct: Empowering Multimodal Web Agents with Visual and Context Focusing
提出 Grounding 工具进行主动视觉感知以动态过滤视觉信息，并设计基于外部记忆的 Defocus/Refocus 操作调节多模态上下文信息密度，可复用于视觉语言模型在噪声环境下的鲁棒推理。
ProSoftArena：在专业软件环境中基准测试多模态智能体的分层能力
ProSoftArena: Benchmarking Hierarchical Capabilities of Multi-modal Agents in Professional Software Environments
为视觉-语言-动作智能体在专业软件中的操作能力提供了首个五级能力层级和可执行评估环境，其基于执行的评估框架和人机协同效率量化方法可直接用于评测GUI智能体在真实软件工作流中的表现。
Ego2Web：基于第一人称视频的网页智能体基准
Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos
Ego2Web 将第一人称视频感知与网页任务执行串联，为视觉研究者提供了检验视频理解模型能否支撑真实世界在线任务的新基准；其 LLM-as-a-Judge 自动评估方法（Ego2WebJudge）也可迁移到其他需要开放式判断的视觉任务评测中。