Tag · 2 篇
多模态表征解耦
分布 视觉语言模型1鲁棒性与安全1
01 02
面向大型视觉语言模型幻觉缓解的预填充阶段干预
Prefill-Time Intervention for Mitigating Hallucination in Large Vision-Language Models
在 prefill 阶段一次性修改 KV cache 来抑制 LVLM 幻觉，且对 key/value 分别施加视觉与文本方向，可与任意解码阶段方法正交叠加，为视觉语言模型的推理期干预提供了新的可复用切入点。
面向社会公平的可解释视觉语言模型去偏
Interpretable Debiasing of Vision-Language Models for Social Fairness
用稀疏自编码器在多模态编码器上定位可解释的「社会属性神经元」，再通过选择性关闭这些神经元实现去偏，为视觉研究者提供了一种无需重训练、可审计的模型内部干预手段，可直接迁移到人脸属性识别、跨群体公平性分析等场景。