Tag · 1 篇
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
提出用原始模型软预测做文本引导的对抗微调,并用温度缩放分布一致性校准保持跨模态对齐,可直接迁移到CLIP类模型的对抗鲁棒性提升。