Tag · 2 篇
多模态可解释性
01 02
多模态大模型关注何处、依赖什么：解释自回归词元生成
Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation
提供一种黑盒、低显存的归因框架，可把 MLLM 生成的任意词元追溯到紧凑的图像区域，并量化语言先验与视觉证据的相对贡献；做 VLM 幻觉诊断或视觉 grounding 分析时，可直接复用其充分性/必要性目标与稀疏区域贪心搜索来定位模型真正依赖的图像证据。
视觉语言模型的结构化图探测
Structural Graph Probing of Vision-Language Models
把每一层建模为神经元共激活相关图，用图结构定位跨模态的 hub 神经元并做因果扰动验证，为视觉研究者提供一种介于局部归因与完整电路复原之间的中层可解释性工具，可直接用于诊断 VLM 中视觉与语言信息如何逐层融合。