Tag · 4 篇
GUI-视觉定位
01 02 03 04
面向 GUI 智能体:用于 GUI 视觉定位的视觉语言扩散模型
Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding
将离散扩散视觉语言模型(如 LLaDA-V)用于 GUI 视觉定位任务,提出线性与确定性混合的掩码调度以捕捉边界框的层次几何结构,为视觉定位提供了一种非自回归的并行生成范式。
揭示与评估 GUI 视觉定位中的幻觉
Exposing and Evaluating Hallucinations for GUI Grounding
把 GUI 视觉定位中的幻觉拆成「混淆幻觉」与「捏造幻觉」两类,并给出可复用的评测子集设计(解析子集 + 幻觉子集),可直接迁移到其他视觉定位任务上做失效模式诊断。
DRS-GUI:面向免训练 GUI 视觉定位的动态区域搜索
DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding
把 MCTS 驱动的 Focus/Shift/Scatter 区域搜索作为免训练插件接到现成 MLLM 上,用于高分辨率截图中的小目标定位,可直接迁移到任意需要从大图中裁剪出相关区域再交给 VLM 的视觉定位任务。
BAMI:GUI 视觉定位中的免训练偏差缓解
BAMI: Training-Free Bias Mitigation in GUI Grounding
针对高分辨率 GUI 截图上视觉定位的精度偏差与歧义偏差,提出免训练的推理期干预(由粗到细聚焦 + 候选选择),可直接套用到任意 VLM 的坐标预测环节,无需重训即可提升定位精度。