Tag · 3 篇
因果中介分析
分布 视觉语言模型1可解释性与可视化1鲁棒性与安全1
01 02 03
理解大语言模型与视觉语言模型中的计数机制
Understanding Counting Mechanisms in Large Language and Vision-Language Models
对做 LVLM 的人：论文用因果中介分析定位到视觉嵌入中承载计数的区域（随空间构图在前景/背景间迁移），并指出视觉编码器属性会塑造计数行为——这为诊断和改造 LVLM 的视觉侧数值表征提供了可复用的探针工具 CountScope 与逐层分析范式。
视觉语言模型中目标定位的机制
Mechanisms of Object Localization in Vision-Language Models
对做视觉定位与多模态定位的研究者，这篇给出了可复用的机制分析工具箱（词元消融、注意力 knockout、因果中介分析），并揭示定位由「容器化」词元决定空间范围、仅极少数注意力头承担因果作用，可用于指导 VLM 定位目标设计与注意力头级剪枝/干预。
通过因果发现与双模态安全子空间投影诊断并修复视觉语言模型中的不安全通道
Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection
提供了一套可复用的诊断-修复范式：先用因果中介分析定位导致不安全行为的神经元与层，再通过广义特征分解在良性与恶意激活之间学习视觉/文本双模态安全子空间，并在推理时动态投影激活。做多模态安全对齐或激活引导的研究者可直接借用该子空间构造与混合融合机制来抑制不安全特征而不损伤语义保真度。