Tag · 3 篇
多模态大模型智能体
分布 视觉语言模型1鲁棒性与安全1强化学习与具身智能1
01 02 03
在 360 度中思考：野外场景下的人形视觉搜索
Thinking in 360deg: Humanoid Visual Search in the Wild
把 360° 全景图当作可主动转头的沉浸式环境，构建了 MLLM 智能体做物体/路径搜索的基准与后训练方案；对做 VLM 空间推理、全景/具身视觉的人，可直接复用其 H* Bench 评测设定与后训练提升范式。
LaSM：用于防御 GUI 智能体弹窗攻击的逐层缩放机制
LaSM: Layer-wise Scaling Mechanism for Defending Pop-up Attack on GUI Agents
对做多模态大模型智能体或视觉语言模型安全的研究者，这篇论文给出一个免训练、推理时即可用的防御手段：通过逐层放大关键层的注意力与 MLP 模块，把模型显著性重新拉回任务相关区域；其「逐层注意力分歧」分析也可直接迁移到其他视觉注入攻击（如对抗 patch、干扰物注入）的脆弱性诊断上。
Minecraft 游戏中多模态大模型智能体的经验迁移
Experience Transfer for Multimodal LLM Agents in Minecraft Game
把过去交互经验拆成结构/属性/过程/功能/交互五个维度并做上下文类比检索，这套「可迁移经验表示 + 检索式上下文示例」的机制可直接搬到视觉具身智能体的长程任务记忆里，替代把历史帧当静态缓存的朴素做法。