Tag · 3 篇
损失景观平坦化
01 02 03
鲁棒性的几何：优化损失景观曲率与特征流形对齐以实现视觉语言模型的鲁棒微调
The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models
对做 VLM 微调的人，这篇给出了一个可复用的正则化组合：用局部曲率自适应的权重扰动把优化推向平坦极小值，再加一个跨干净/对抗/OOD 输入的特征对齐损失，从而在同一个微调流程里同时保住 ID、OOD 和对抗三个轴，可直接移植到 CLIP 类模型的鲁棒微调。
GDFA：几何驱动且带方向任务向量对齐的联邦遗忘
GDFA: Geometry-Driven Federated Unlearning with Directional Task Vector Alignment
把损失景观几何（平坦极小值）作为提升遗忘鲁棒性的手段，并通过对任务向量做方向一致性过滤来隔离共享知识——这套「平坦化 + 方向对齐的任务向量」思路可迁移到视觉模型的版权数据删除、概念擦除与个性化模型去身份化等场景。
FORCE：通过特征过度依赖校正实现可迁移的视觉越狱攻击
FORCE: Transferable Visual Jailbreaking Attacks via Feature Over-Reliance CorrEction
对做多模态大模型红队与安全评测的人，这篇给出了一个可复用的攻击优化思路：用损失景观平坦化（类似 sharpness-aware 优化）加频域语义重加权，把视觉对抗扰动从高曲率窄区域推向平坦可行域，从而提升跨模型迁移性；这套「平坦化+频域重标定」也可迁移到对抗样本迁移性、模型鲁棒性诊断等视觉安全问题。