Tag · 3 篇
注意力头分析
分布 鲁棒性与安全1可解释性与可视化1视觉语言模型1
01 02 03
SafeRoPE：面向整流流 Transformer 安全生成的风险特定头级嵌入旋转
SafeRoPE: Risk-specific Head-wise Embedding Rotation for Safe Generation in Rectified Flow Transformers
针对 MMDiT 架构，提出在注意力头级别定位不安全语义子空间，并通过扰动 RoPE 的 query/key 嵌入实现无需微调的安全概念抑制，为扩散 Transformer 的安全生成提供了轻量级、可复用的干预手段。
视觉语言模型中目标定位的机制
Mechanisms of Object Localization in Vision-Language Models
对做视觉定位与多模态定位的研究者，这篇给出了可复用的机制分析工具箱（词元消融、注意力 knockout、因果中介分析），并揭示定位由「容器化」词元决定空间范围、仅极少数注意力头承担因果作用，可用于指导 VLM 定位目标设计与注意力头级剪枝/干预。
CausalLens：敏感度引导的多头因果干预用于大型视觉语言模型幻觉缓解
CausalLens: Sensitivity-Guided Multi-Head Causal Intervention for Hallucination Mitigation in Large Vision-Language Models
提出一种免训练、单次前向的推理时干预：按视觉、文本、系统提示词三条通路分解注意力头，用敏感度度量挑出视觉可靠的注意力头并调整其中层隐状态贡献，再以投影对齐校正稳定多头融合后的状态。做 LVLM 幻觉缓解或视觉 grounding 的研究者可直接复用这套注意力头级敏感度分析与隐状态校正流程，替代多遍/对比解码以降低延迟。