Tag · 2 篇
测试时防御
01 02
面向被植入后门的大型视觉语言模型的测试时注意力净化
Test-Time Attention Purification for Backdoored Large Vision Language Models
对做多模态大模型安全与部署的研究者，这篇给出了一个可直接复用的测试时检测信号——跨模态融合层中视觉-文本注意力比值，以及一个免训练、即插即用的输入净化流程（剪除高注意力可疑视觉 token），无需重训 LoRA 或适配器即可中和后门激活。
一种可证明的能量引导测试时防御方法提升大型视觉语言模型的对抗鲁棒性
A Provable Energy-Guided Test-Time Defense Boosting Adversarial Robustness of Large Vision-Language Models
ET3 提供了一种无需训练、在推理阶段即可使用的防御手段：通过对输入样本做能量最小化的测试时变换来削弱对抗扰动，可直接套用到 CLIP 零样本分类以及 LVLM 的图像描述、VQA 等下游流程中，为视觉模型部署增加一层轻量防护。