权重空间分析

从权重到概念：基于奇异向量分解的 CLIP 无数据可解释性

From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition

提供一种无需数据、无需训练的权重空间分析手段：对 CLIP 视觉 Transformer 每个注意力头的 value-output 矩阵做奇异向量分解，并用稀疏匹配追踪把奇异向量解释为可读概念，可直接用于定位并放大或抑制特定语义方向，从而在不重训练的情况下编辑模型行为。