多模态概念词典

词典对齐的概念控制：面向多模态大语言模型的安全防护

Dictionary-Aligned Concept Control for Safeguarding Multimodal LLMs

对做多模态视觉语言模型的人，这篇给出了一个推理时无需重训的激活干预方案：用图像-描述刺激构建的概念词典初始化 SAE，并对 SAE 原子自动语义标注，从而在冻结模型上做细粒度概念级引导，可直接迁移到视觉模型的安全对齐或概念编辑。