Tag · 4 篇

GUI-视觉定位

01
视觉语言模型 / CVPR2026

面向 GUI 智能体:用于 GUI 视觉定位的视觉语言扩散模型

Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding

将离散扩散视觉语言模型(如 LLaDA-V)用于 GUI 视觉定位任务,提出线性与确定性混合的掩码调度以捕捉边界框的层次几何结构,为视觉定位提供了一种非自回归的并行生成范式。

离散扩散模型GUI-视觉定位混合掩码策略
02
视觉语言模型 / CVPR2026

揭示与评估 GUI 视觉定位中的幻觉

Exposing and Evaluating Hallucinations for GUI Grounding

把 GUI 视觉定位中的幻觉拆成「混淆幻觉」与「捏造幻觉」两类,并给出可复用的评测子集设计(解析子集 + 幻觉子集),可直接迁移到其他视觉定位任务上做失效模式诊断。

GUI-视觉定位幻觉评测基准视觉定位
03
视觉语言模型 / CVPR2026

DRS-GUI:面向免训练 GUI 视觉定位的动态区域搜索

DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding

把 MCTS 驱动的 Focus/Shift/Scatter 区域搜索作为免训练插件接到现成 MLLM 上,用于高分辨率截图中的小目标定位,可直接迁移到任意需要从大图中裁剪出相关区域再交给 VLM 的视觉定位任务。

GUI-视觉定位蒙特卡洛树搜索免训练方法
04
视觉语言模型 / CVPR2026

BAMI:GUI 视觉定位中的免训练偏差缓解

BAMI: Training-Free Bias Mitigation in GUI Grounding

针对高分辨率 GUI 截图上视觉定位的精度偏差与歧义偏差,提出免训练的推理期干预(由粗到细聚焦 + 候选选择),可直接套用到任意 VLM 的坐标预测环节,无需重训即可提升定位精度。

GUI-视觉定位免训练推理归因分析