Tag · 4 篇
对抗迁移性
面向高迁移性视觉语言攻击的语义增强动态对比交互方法
Towards Highly Transferable Vision-Language Attack via Semantic-Augmented Dynamic Contrastive Interaction
对做视觉语言模型鲁棒性评测的人,这篇给出了一个可复用的攻击侧思路:用对抗/正/负样本三元组的动态对比机制持续破坏跨模态对齐,并把传统迁移攻击里的输入变换增强搬到 VLP 上做语义增广,可直接用于检验自家 VLM 的迁移攻击抵抗力。
面向多模态大语言模型的多范式协同对抗攻击
Multi-Paradigm Collaborative Adversarial Attack Against Multi-Modal Large Language Models
对做多模态大模型红队与鲁棒性评测的人,这篇给出了一个可复用的思路:不要只用单一范式的代理模型做特征空间优化,而是把视觉与语言两个范式的语义表征聚合起来,用对比匹配自适应加权后再做全局扰动优化,从而缓解表征偏置、提升对抗样本的跨模型迁移性。
利用局部扰动增强提升对抗迁移性
Improving Adversarial Transferability with Local Perturbation Augmentation
对做对抗鲁棒性评测的人,LPAA 提供了一种在每次迭代中构造多个局部增强子空间来更新扰动、并用专门初始化避免初始扰动敏感性的黑盒迁移攻击流程,可直接替换现有迭代攻击中的邻域采样步骤,用于在 CNN 与 ViT 上更严格地检验模型鲁棒性。
FORCE:通过特征过度依赖校正实现可迁移的视觉越狱攻击
FORCE: Transferable Visual Jailbreaking Attacks via Feature Over-Reliance CorrEction
对做多模态大模型红队与安全评测的人,这篇给出了一个可复用的攻击优化思路:用损失景观平坦化(类似 sharpness-aware 优化)加频域语义重加权,把视觉对抗扰动从高曲率窄区域推向平坦可行域,从而提升跨模型迁移性;这套「平坦化+频域重标定」也可迁移到对抗样本迁移性、模型鲁棒性诊断等视觉安全问题。