鲁棒性与安全 / CVPR2026
通过分歧引导的后缀优化与图像短语注入越狱视觉语言模型
Jailbreaking Vision-Language Models via Dissonance-Guided Suffix Optimization and Image-Phrase Injection
对做 VLM 安全与多模态对齐的研究者,这篇给出了一个可复用的攻击信号:用目标模型与未对齐模型之间的预测分歧(predictive dissonance)来定位被安全对齐压制的词元,替代离散词元空间上的梯度近似;同时把短语的内容与呈现方式一起嵌入图像做联合优化,利用跨模态敏感性提升迁移性,可作为红队评测 VLM 防护的基线。
越狱攻击视觉语言模型后缀优化