视觉语言预训练模型

面向高迁移性视觉语言攻击的语义增强动态对比交互方法

Towards Highly Transferable Vision-Language Attack via Semantic-Augmented Dynamic Contrastive Interaction

对做视觉语言模型鲁棒性评测的人，这篇给出了一个可复用的攻击侧思路：用对抗/正/负样本三元组的动态对比机制持续破坏跨模态对齐，并把传统迁移攻击里的输入变换增强搬到 VLP 上做语义增广，可直接用于检验自家 VLM 的迁移攻击抵抗力。