Topic · 36 篇
可解释性与可视化
核心产出是解释，而不是更高的精度。
这个方向的收录判据
解释模型为何做出某个判断，或可视化其内部表示。包括归因图（Grad-CAM 类）、 概念解释、特征可视化、探针分析、机制可解释性在视觉模型上的应用。 判据：论文的核心产出是"解释"而非"更高的精度"。
本方向全部 36 篇
多模态大模型关注何处、依赖什么：解释自回归词元生成
Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation
提供一种黑盒、低显存的归因框架，可把 MLLM 生成的任意词元追溯到紧凑的图像区域，并量化语言先验与视觉证据的相对贡献；做 VLM 幻觉诊断或视觉 grounding 分析时，可直接复用其充分性/必要性目标与稀疏区域贪心搜索来定位模型真正依赖的图像证据。
模型何时真正做出决策？映射预训练神经网络中的逐层决策时间线
When Do Models Actually Decide? Mapping the Layer-Wise Decision Timeline in Pretrained Neural Networks
该论文通过逐层线性探针揭示了预训练ResNet在前向传播中决策形成的层间时间线，为设计基于稳定性的早退机制提供了量化依据，并指出简单图像可能在网络早期即被决定，这对视觉模型推理加速和动态计算分配有直接启发。
TRANSPORTER：从 VLM 流形迁移视觉语义
TRANSPORTER: Transferring Visual Semantics from VLM Manifolds
把 VLM 的 logit 分数通过最优传输耦合映射到 T2V 模型的语义嵌入空间，用生成视频作为解释载体——做 VLM 可解释性或探针研究时，可复用这套「logit→嵌入方向→条件生成」的流程来可视化模型内部语义。
视觉语言模型的结构化图探测
Structural Graph Probing of Vision-Language Models
把每一层建模为神经元共激活相关图，用图结构定位跨模态的 hub 神经元并做因果扰动验证，为视觉研究者提供一种介于局部归因与完整电路复原之间的中层可解释性工具，可直接用于诊断 VLM 中视觉与语言信息如何逐层融合。
选择即非线性：通过联合博弈决策视角桥接注意力与激活，实现可解释、判别性的视觉表征
Selection-as-Nonlinearity: Bridging Attention and Activation via a Joint Game-Decision Lens for Interpretable, Discriminative Visual Representations
提出将注意力视为成本约束下的选择操作，为理解视觉Transformer中注意力与FFN的互补性提供新视角，并据此设计CSaN模块，可即插即用地增强Swin、ViT、Hiera等骨干网络，在视觉基准上以更小规模媲美两倍大的同族模型。
选择、假设与验证：迈向可验证的神经元概念解释
Select, Hypothesize and Verify: Towards Verified Neuron Concept Interpretation
为视觉模型神经元概念解释引入「生成后验证」环节：用激活分布筛选最能代表神经元功能的样本，再检验生成的概念能否高激活对应神经元，可直接用于排查冗余/误导性神经元，提升特征归因与概念瓶颈模型的可信度。
圆头还是流线型头？连接概念瓶颈模型与属性描述的物体部件
Rounded or Streamlined Head? Bridging Concept Bottleneck Models and Attribute-Described Object Parts
把概念重新定义为「部件-属性对」并用类别无关的目标聚类抑制背景伪证据，这套做法可直接迁移到任何需要 VLM 给出细粒度部件掩码的可解释识别或属性定位流程中，缓解 VLM 部件定位噪声。
重新审视概念瓶颈模型：从缺陷到解决方案
Rethinking Concept Bottleneck Models: From Pitfalls to Solutions
为基于概念的预测提供可复用的评估与改进框架：用熵指标预评估概念集与数据集的匹配度，在概念激活与分类器之间插入非线性层以消除线性绕过问题，并用线性教师探针引导的蒸馏损失缩小与黑箱模型的精度差距；同时系统分析不同视觉编码器与 VLM 对精度和可解释性的影响，可直接用于构建可解释的图像分类流程。
PhaseWin 搜索框架实现高效的目标级解释
PhaseWin Search Framework Enable Efficient Object-Level Interpretation
把子模子集选择的归因从二次代价的贪心搜索换成近线性的分阶段粗到细窗口搜索，可直接套用到 Grounding DINO、Florence-2 这类目标级多模态模型的区域归因与显著性解释上，让高保真归因在真实推理预算内可用。
PRISM：基于原型与跨模态语义挖掘的可解释图像识别推理框架
PRISM: Prototype-based Reasoning with Inter-modal Semantic Mining for Interpretable Image Recognition
把文本条件归因图与原型激活图对齐，可在无概念标注的情况下把 part prototype 锚定到语义区域，为可解释分类器提供一条可复用的跨模态原型学习与定位约束思路。
MedLIME：面向医学显著性解释的分布对齐与证据支持框架
MedLIME: A Distribution-Aligned and Evidence-Supported Framework for Medical Saliency Explanations
在无法访问模型内部的白盒条件下，用生成式重建替代 LIME 的随机扰动、并用监督式测试时自适应校准掩码分布，可迁移到任意黑盒医学影像模型的病灶定位与显著性解释评估（AUPRC）。
视觉语言模型中目标定位的机制
Mechanisms of Object Localization in Vision-Language Models
对做视觉定位与多模态定位的研究者，这篇给出了可复用的机制分析工具箱（词元消融、注意力 knockout、因果中介分析），并揭示定位由「容器化」词元决定空间范围、仅极少数注意力头承担因果作用，可用于指导 VLM 定位目标设计与注意力头级剪枝/干预。
衡量基于概念的解释的（不）忠实性
Measuring the (Un)Faithfulness of Concept-Based Explanations
提出 SURF 代理模型和忠实性度量，为评估概念解释方法提供可靠基准，可指导视觉模型可解释性研究中选择更忠实的解释方法。
MaskDiME：面向精确高效视觉反事实解释的自适应掩码扩散
MaskDiME: Adaptive Masked Diffusion for Precise and Efficient Visual Counterfactual Explanations
把扩散采样限制在决策相关区域、以掩码引导的局部采样实现免训练反事实生成，为视觉研究者提供一种可复用的思路：用扩散先验做模型行为归因，且推理开销比基线低一个数量级以上。
使分类解释忠实于置信度分数
Making the Classification Explanation Faithful to the Confidence Score
提出一种黑盒解释方法 MHE，通过 Metropolis-Hastings 采样生成与分类器置信度分数高度一致的图像区域解释，并利用已有有效样本提升采样效率；可直接用于分析和调试视觉分类模型（如 ResNet、ViT、CLIP）的决策依据。
Make it SING：分析分类器中的语义不变性
Make it SING: Analyzing Semantic Invariants in Classifiers
把分类器线性映射的零空间方向显式构造为等价图像，并借助多模态视觉语言模型为这些方向赋予自然语言语义，为分析模型不变性、比较不同骨干（ResNet 与 DINO-ViT）的语义保持能力提供了可复用的探测工具。
语言模型可通过引导解释视觉特征
Language Models Can Explain Visual Features via Steering
对做视觉可解释性的人，这篇给出了一个不依赖输入样本的因果式特征解释范式：在视觉编码器里直接引导单个 SAE 特征、再让语言模型描述其语义，可作为探测视觉表征概念的新工具；Steering-informed Top-k 混合策略还能零额外算力提升解释质量。
LVLM 辅助的任务特定视觉模型对齐
LVLM-Aided Alignment of Task-Specific Vision Models
用 LVLM 作为「模型行为→自然语言→图像级批评」的双向翻译器，把领域专家给出的类级规范转成对单张图的批评信号来微调小模型，为视觉模型对齐人类知识、去除虚假相关提供了一套无需细粒度标注的可复用流程。
可解释且可引导的概念瓶颈稀疏自编码器
Interpretable and Steerable Concept Bottleneck Sparse Autoencoders
为视觉语言模型与图像生成模型提供了一种事后可插拔的稀疏自编码器改造方案：先剪除低效用神经元，再用对齐用户概念集的轻量概念瓶颈扩充潜空间，从而让潜变量既可解释又可被定向操控，可直接用于扩散模型的概念级编辑与生成控制。
用动态注意力改进稀疏自编码器
Improving Sparse Autoencoder with Dynamic Attention
对做视觉表征分析与模型可解释性的研究者，这篇提供了用 sparsemax 交叉注意力替代 ReLU/TopK 的 SAE 激活方案，可自适应决定每个神经元激活的概念数，从而在重建质量与特征解耦可解释性之间取得更好平衡，并可作为现有 SAE 的稀疏度调参指导。
我是一张地图！可解释的运动注意力图：在视频扩散 Transformer 中时空定位概念
I'm a Map! Interpretable Motion-Attentive Maps: Spatio-Temporally Localizing Concepts in Video Diffusion Transformers
提出无需梯度计算或参数更新的 GramCol 方法，为视频扩散 Transformer 生成逐帧概念显著性图，可复用于模型内部表示分析与零样本视频语义分割。
层次概念嵌入与追踪用于可解释图像分类
Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification
HCEP 利用视觉语言模型的潜空间，通过层次化稀疏编码恢复图像中的概念，为设计可解释分类模型提供了新思路；其几何构造和恢复条件可推广到其他需要结构化概念表示的任务。
隐藏的单调性：通过 DC 分解解释深度神经网络
Hidden Monotonicity: Explaining Deep Neural Networks via their DC Decomposition
把训练好的 ReLU 网络拆成两个单调凸部分（DC 分解）并解决权重爆炸的数值问题，可直接替换现有 CAM/LRP 的传播规则，得到更忠实的显著性图；同时可用「两个单调网络之差」的架构训练天生自解释的视觉模型。
H-Sets：Hessian 引导的图像分类器集合级特征交互发现
H-Sets: Hessian-Guided Discovery of Set-Level Feature Interactions in Image Classifiers
把输入 Hessian 检测到的局部交互对递归合并成语义连贯的特征集合，再用 IDG-Vis（沿像素空间路径积分方向梯度并以 Harsanyi 分红聚合）做集合级归因，为视觉分类器提供比像素级归因更稀疏、更忠实的显著性图，可直接用于诊断模型依赖的像素组合。
Globscope：迈向损失景观的全局视图
Globscope: Toward a Global View of the Loss Landscape
为视觉研究者提供一种在低维非线性流形上全局可视化并重建完整模型权重的手段，可直接用于分析模型合并、模式连通性与置换对称性（re-basin），帮助判断不同视觉模型解之间的连通路径与低损失通道。
面向充分必要电路的全局信息阈值化
Global Information Thresholding for Sufficient and Necessary Circuits
为视觉模型（如 ViT、CLIP 视觉编码器）的电路级机制分析提供了一套无需人工设定电路规模的阈值选取流程：先用保号积分梯度给边打分，再按行为保留准则确定全局截断点，可直接迁移到视觉 Transformer 的注意力头/MLP 电路发现与充分性-必要性评估。
从权重到概念：基于奇异向量分解的 CLIP 无数据可解释性
From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition
提供一种无需数据、无需训练的权重空间分析手段：对 CLIP 视觉 Transformer 每个注意力头的 value-output 矩阵做奇异向量分解，并用稀疏匹配追踪把奇异向量解释为可读概念，可直接用于定位并放大或抑制特定语义方向，从而在不重训练的情况下编辑模型行为。
通过像素集体贡献解释目标检测器
Explaining Object Detectors via Collective Contribution of Pixels
用Shapley值与交互项显式建模多个像素的集体贡献，为检测器的边界框定位与类别判定同时生成归因图，可直接迁移到其他密集预测模型（分割、关键点）的解释与调试。
通过概念解释 CLIP 的零样本预测
Explaining CLIP Zero-shot Predictions Through Concepts
把 CLIP 的图像-文本联合嵌入投影到由语言描述学到的概念空间，用对齐+重建目标训练，可在不改 CLIP 权重、不加概念监督的前提下为开放词表零样本预测给出概念级解释；做 VLM 可解释性或概念瓶颈方向可直接复用该投影与训练目标。
概念区域至关重要：一种基于聚类重要性的 CLIP 基准测试方法
Concept Regions Matter: Benchmarking CLIP with a New Cluster-Importance Approach
CCI 利用 CLIP 自身的图像块嵌入做聚类并掩码评估预测变化，为视觉研究者提供了一种无需额外训练即可定位模型决策依据的归因工具；结合 GroundedSAM 可自动区分前景/背景驱动预测，COVAR 基准则系统解耦前景与背景变化，可用于诊断和提升 VLM 的鲁棒性。
扩散 Transformer 中空间关系生成的电路机制
Circuit Mechanisms for Spatial Relation Generation in Diffusion Transformers
用电路级（cross-attention head 级）机制分析拆解 DiT 如何从文本 token 读取空间关系，为诊断和修复文生图模型的空间关系失败提供了可复用的分析范式：从零训练受控小模型、按文本编码器类型对比内部电路，并据此解释 OOD 鲁棒性差异。
CIGMA：视觉 Transformer 中注意力头的因果信息增益机制归因
CIGMA: Causal Information-Gain Mechanistic Attribution of Attention Heads in Vision Transformers
CIGMA 提供了一种基于信息增益的注意力头级因果归因方法，可用于诊断和修正 ViT 模型对背景虚假相关性的依赖，其双编辑（移除物体/移除上下文）的干预思路可直接迁移到其他视觉模型的可解释性分析与去偏任务中。
超越最高激活：高效可靠的自动化可解释性众包评估
Beyond Top Activations: Efficient and Reliable Crowdsourced Evaluation of Automated Interpretability
提出模型引导的重要性采样（MG-IS）和贝叶斯评分聚合（BRAgg），可高效、可靠地众包评估视觉网络神经元的自动化解释方法，为机制可解释性研究提供可复用的评估流程。
回到特征：用视频反事实解释说明视频分类器
Back to the Feature: Explaining Video Classifiers with Video Counterfactual Explanations
把图像反事实解释扩展到视频时，关键难点是时序一致与运动平滑；BTTF 用「首帧条件反演初始潜变量 + 两阶段邻域搜索 + 渐进增加去噪步数」的纯分类器引导优化，为视频模型的归因与调试提供了可复用的生成式解释框架。
注意力，能否告诉我你的决定？定位扩散模型中的生成性选择
Attention, May I Have Your Decision? Localizing Generative Choices in Diffusion Models
用基于探针的属性可分性定位扩散模型中隐式决策发生的层，并据此只对少量自注意力层做定向干预；这套「先定位再干预」的流程可直接迁移到视觉生成中的属性去偏、概念编辑与生成可控性研究。
一次对齐即可解释：面向可扩展 B-cos 化的基础视觉 Transformer 特征对齐
Align Once to Explain: Feature Alignment for Scalable B-cosification of Foundational Vision Transformers
提出一种免标签的一次性特征对齐方法，将任意预训练视觉基础模型（监督、自监督、视觉语言）转换为内在可解释的 B-cos 变体，且转换后模型可直接作为骨干网络用于下游任务，为视觉模型可解释性提供高效、可扩展的解决方案。