跨模态对抗迁移

通过分歧引导的后缀优化与图像短语注入越狱视觉语言模型

Jailbreaking Vision-Language Models via Dissonance-Guided Suffix Optimization and Image-Phrase Injection

对做 VLM 安全与多模态对齐的研究者，这篇给出了一个可复用的攻击信号：用目标模型与未对齐模型之间的预测分歧（predictive dissonance）来定位被安全对齐压制的词元，替代离散词元空间上的梯度近似；同时把短语的内容与呈现方式一起嵌入图像做联合优化，利用跨模态敏感性提升迁移性，可作为红队评测 VLM 防护的基线。