鲁棒性与安全 / CVPR2026
鲁棒性的几何:优化损失景观曲率与特征流形对齐以实现视觉语言模型的鲁棒微调
The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models
对做 VLM 微调的人,这篇给出了一个可复用的正则化组合:用局部曲率自适应的权重扰动把优化推向平坦极小值,再加一个跨干净/对抗/OOD 输入的特征对齐损失,从而在同一个微调流程里同时保住 ID、OOD 和对抗三个轴,可直接移植到 CLIP 类模型的鲁棒微调。
对抗鲁棒性鲁棒微调损失景观平坦化