Tag · 2 篇
黑盒归因
分布 可解释性与可视化1鲁棒性与安全1
01 02
多模态大模型关注何处、依赖什么：解释自回归词元生成
Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation
提供一种黑盒、低显存的归因框架，可把 MLLM 生成的任意词元追溯到紧凑的图像区域，并量化语言先验与视觉证据的相对贡献；做 VLM 幻觉诊断或视觉 grounding 分析时，可直接复用其充分性/必要性目标与稀疏区域贪心搜索来定位模型真正依赖的图像证据。
CSF：基于组合语义的文生图模型黑盒指纹方法
CSF: Black-box Fingerprinting via Compositional Semantics for Text-to-Image Models
提出一种仅靠查询访问即可对微调文生图模型进行谱系归因的黑盒指纹方法，其组合语义探测思路可迁移到模型溯源、版权保护与微调检测等视觉安全场景。