Tag · 8 篇
机制可解释性
理解大语言模型与视觉语言模型中的计数机制
Understanding Counting Mechanisms in Large Language and Vision-Language Models
对做 LVLM 的人：论文用因果中介分析定位到视觉嵌入中承载计数的区域（随空间构图在前景/背景间迁移），并指出视觉编码器属性会塑造计数行为——这为诊断和改造 LVLM 的视觉侧数值表征提供了可复用的探针工具 CountScope 与逐层分析范式。
视觉语言模型中目标定位的机制
Mechanisms of Object Localization in Vision-Language Models
对做视觉定位与多模态定位的研究者，这篇给出了可复用的机制分析工具箱（词元消融、注意力 knockout、因果中介分析），并揭示定位由「容器化」词元决定空间范围、仅极少数注意力头承担因果作用，可用于指导 VLM 定位目标设计与注意力头级剪枝/干预。
可解释且可引导的概念瓶颈稀疏自编码器
Interpretable and Steerable Concept Bottleneck Sparse Autoencoders
为视觉语言模型与图像生成模型提供了一种事后可插拔的稀疏自编码器改造方案：先剪除低效用神经元，再用对齐用户概念集的轻量概念瓶颈扩充潜空间，从而让潜变量既可解释又可被定向操控，可直接用于扩散模型的概念级编辑与生成控制。
用动态注意力改进稀疏自编码器
Improving Sparse Autoencoder with Dynamic Attention
对做视觉表征分析与模型可解释性的研究者，这篇提供了用 sparsemax 交叉注意力替代 ReLU/TopK 的 SAE 激活方案，可自适应决定每个神经元激活的概念数，从而在重建质量与特征解耦可解释性之间取得更好平衡，并可作为现有 SAE 的稀疏度调参指导。
面向充分必要电路的全局信息阈值化
Global Information Thresholding for Sufficient and Necessary Circuits
为视觉模型（如 ViT、CLIP 视觉编码器）的电路级机制分析提供了一套无需人工设定电路规模的阈值选取流程：先用保号积分梯度给边打分，再按行为保留准则确定全局截断点，可直接迁移到视觉 Transformer 的注意力头/MLP 电路发现与充分性-必要性评估。
扩散 Transformer 中空间关系生成的电路机制
Circuit Mechanisms for Spatial Relation Generation in Diffusion Transformers
用电路级（cross-attention head 级）机制分析拆解 DiT 如何从文本 token 读取空间关系，为诊断和修复文生图模型的空间关系失败提供了可复用的分析范式：从零训练受控小模型、按文本编码器类型对比内部电路，并据此解释 OOD 鲁棒性差异。
CIGMA：视觉 Transformer 中注意力头的因果信息增益机制归因
CIGMA: Causal Information-Gain Mechanistic Attribution of Attention Heads in Vision Transformers
CIGMA 提供了一种基于信息增益的注意力头级因果归因方法，可用于诊断和修正 ViT 模型对背景虚假相关性的依赖，其双编辑（移除物体/移除上下文）的干预思路可直接迁移到其他视觉模型的可解释性分析与去偏任务中。
超越最高激活：高效可靠的自动化可解释性众包评估
Beyond Top Activations: Efficient and Reliable Crowdsourced Evaluation of Automated Interpretability
提出模型引导的重要性采样（MG-IS）和贝叶斯评分聚合（BRAgg），可高效、可靠地众包评估视觉网络神经元的自动化解释方法，为机制可解释性研究提供可复用的评估流程。