Tag · 6 篇
注意力调制
PG-VTON：基于图像块引导参考对齐的单次免训练虚拟试衣
PG-VTON: Single-Pass Training-Free Virtual Try-On via Patch-Guided Reference Alignment
把现成的图像修复扩散模型当作上下文补全器，仅用早期去噪步注入服装图像块、并在注意力层强化掩码区域 token 对服装 token 的关联，就能单次前向完成试衣；这套「不改权重、只调注入时机与注意力」的思路可直接迁移到其他参考图驱动的局部编辑任务。
LaSM：用于防御 GUI 智能体弹窗攻击的逐层缩放机制
LaSM: Layer-wise Scaling Mechanism for Defending Pop-up Attack on GUI Agents
对做多模态大模型智能体或视觉语言模型安全的研究者，这篇论文给出一个免训练、推理时即可用的防御手段：通过逐层放大关键层的注意力与 MLP 模块，把模型显著性重新拉回任务相关区域；其「逐层注意力分歧」分析也可直接迁移到其他视觉注入攻击（如对抗 patch、干扰物注入）的脆弱性诊断上。
以图导图：基于整流上下文示例引导的一致视频非模态补全
Image Guides Images: Consistent Video Amodal Completion with Rectified In-Context Exemplar Guidance
把预训练图像修复模型直接用于视频非模态补全，通过调制 DiT 全局注意力中示例与目标帧的相对权重来提升跨帧一致性，并用双帧校准的示例修正解决冷启动；这套免训练、示例引导的注意力整流思路可迁移到其他需要跨帧一致性的视频生成/编辑任务。
打破幻觉：多模态解码中正负路径的相遇
Breaking the Illusion: When Positive Meets Negative in Multimodal Decoding
PND 是一种无需训练的推理阶段解码干预：用多层注意力放大显著视觉证据作为正路径，同时削弱核心物体特征构造反事实负路径，逐步对比两者输出以压制语言先验主导的幻觉。做 VLM 幻觉缓解或解码策略改进的工作可直接复用该双路径对比框架，且它揭示了视觉特征在注意力中被系统性低估这一可进一步探查的现象。
超越语义搜索：面向组合图像检索的指代锚定
Beyond Semantic Search: Towards Referential Anchoring in Composed Image Retrieval
提出以边界框作为视觉锚点的细粒度组合图像检索任务，并设计上下文感知注意力调制器，可复用于需要实例级保真度的多模态检索与定位任务。
对齐视觉语言模型所见与所感：自适应信息流
Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow
提出一种基于词元动态的视觉词元重要性度量，在解码阶段抑制文本词元对无关视觉词元的注意力，可作为即插即用的推理时干预手段，用于提升 VLM 的视觉定位与抗幻觉能力。