Tag · 2 篇
稀疏编码
01 02
层次概念嵌入与追踪用于可解释图像分类
Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification
HCEP 利用视觉语言模型的潜空间,通过层次化稀疏编码恢复图像中的概念,为设计可解释分类模型提供了新思路;其几何构造和恢复条件可推广到其他需要结构化概念表示的任务。
从权重到概念:基于奇异向量分解的 CLIP 无数据可解释性
From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition
提供一种无需数据、无需训练的权重空间分析手段:对 CLIP 视觉 Transformer 每个注意力头的 value-output 矩阵做奇异向量分解,并用稀疏匹配追踪把奇异向量解释为可读概念,可直接用于定位并放大或抑制特定语义方向,从而在不重训练的情况下编辑模型行为。