视觉语言模型诊断

概念区域至关重要：一种基于聚类重要性的 CLIP 基准测试方法

Concept Regions Matter: Benchmarking CLIP with a New Cluster-Importance Approach

CCI 利用 CLIP 自身的图像块嵌入做聚类并掩码评估预测变化，为视觉研究者提供了一种无需额外训练即可定位模型决策依据的归因工具；结合 GroundedSAM 可自动区分前景/背景驱动预测，COVAR 基准则系统解耦前景与背景变化，可用于诊断和提升 VLM 的鲁棒性。