Tag · 9 篇

注意力引导

分布视觉语言模型5高效模型与推理加速2图像编辑与可控生成1医学影像与生物视觉1

Video-Only ToM: Enhancing Theory of Mind in Multimodal Large Language Models

提出一种通过计算干预向量来对齐视觉表征与正确语义目标的方法，可引导模型注意力跨层关注视觉特征，减少对语言先验的依赖；该技术可复用于其他需要增强视觉 grounding 的多模态推理任务。

UTPTrack: Towards Simple and Unified Token Pruning for Visual Tracking

提出一种注意力引导、词元类型感知的统一剪枝策略，可同时压缩搜索区域、动态模板和静态模板中的视觉词元，为基于单流 Transformer 的跟踪器在保持精度的同时大幅降低计算量，该思路可迁移到其他需要处理多源视觉词元的 Transformer 任务。

TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model

对做 LVLM 视觉侧推理加速的人，可直接复用「词元表征在模块间传播时的幅值与方向变化」作为重要性信号，替代有位置偏置的注意力/相似度准则，且免训练即可插到 LLaVA、Qwen2.5-VL 等架构中。

Towards Training-free Scene Text Editing

把「流形引导 + 注意力增强」做成无需训练的即插即用模块，可直接迁移到任意扩散/流模型的图像局部编辑任务（如文字替换、风格保持修复），省去逐任务微调与配对数据。

Tell Model Where to Look: Mitigating Hallucinations in MLLMs by Vision-Guided Attention

VGA 利用视觉词元的语义内容构造精确视觉定位，并在推理时用该定位重定向注意力，为视觉研究者提供了一种免训练、兼容 FlashAttention 的注意力干预手段，可直接用于缓解 MLLM 的视觉幻觉与提升区域级视觉理解。

Seeing What Matters: A Training-Free Self-Guided Framework for Multimodal Detail Perception and Reasoning

提出免训练的双分支关键区域定位（梯度语义相关图 + 视觉词元独特性）与渐进式视觉词元剪枝，可直接插入现成 MLLM 的推理流程，用于提升高分辨率细节感知并降低计算量，对做 VLM 细粒度理解与高效推理的人可复用。

MVP: Multiple View Prediction Improves GUI Grounding

对做视觉定位/VLM 的研究者，MVP 提供了一种免训练的多视图推理与聚类集成策略：用指令到图像的注意力分数生成多样化裁剪视图，再对多视图坐标预测做最密空间簇质心聚合，可直接套用到任何坐标回归式 VLM 上以抑制单视图预测的不稳定性。

Bridging RGB and Hematoxylin Components: An Interleaved Guidance and Fusion Framework for Point Supervised Nuclei Segmentation

在仅有单点标注的弱监督设定下，用 RGB 与苏木精分量双表示互补融合、并以点引导注意力在分割与核预测之间双向精化，为病理图像中降低标注成本的密集预测提供了可复用的双分支互引导范式。

APPO: Attention-guided Perception Policy Optimization for Video Reasoning

把强化学习中的组内相对优势换成基于注意力、跨响应聚焦同一关键帧的 token 级稠密奖励，可在无细粒度标注下提升视频多模态模型的感知能力，这套奖励设计可直接迁移到其他视频 VLM 的 RL 后训练流程。