代理模型集成

面向多模态大语言模型的多范式协同对抗攻击

Multi-Paradigm Collaborative Adversarial Attack Against Multi-Modal Large Language Models

对做多模态大模型红队与鲁棒性评测的人，这篇给出了一个可复用的思路：不要只用单一范式的代理模型做特征空间优化，而是把视觉与语言两个范式的语义表征聚合起来，用对比匹配自适应加权后再做全局扰动优化，从而缓解表征偏置、提升对抗样本的跨模型迁移性。