Tag · 2 篇
概念解释
01 02
衡量基于概念的解释的(不)忠实性
Measuring the (Un)Faithfulness of Concept-Based Explanations
提出 SURF 代理模型和忠实性度量,为评估概念解释方法提供可靠基准,可指导视觉模型可解释性研究中选择更忠实的解释方法。
从权重到概念:基于奇异向量分解的 CLIP 无数据可解释性
From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition
提供一种无需数据、无需训练的权重空间分析手段:对 CLIP 视觉 Transformer 每个注意力头的 value-output 矩阵做奇异向量分解,并用稀疏匹配追踪把奇异向量解释为可读概念,可直接用于定位并放大或抑制特定语义方向,从而在不重训练的情况下编辑模型行为。