Tag · 2 篇
鲁棒微调
分布 鲁棒性与安全1强化学习与具身智能1
01 02
鲁棒性的几何：优化损失景观曲率与特征流形对齐以实现视觉语言模型的鲁棒微调
The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models
对做 VLM 微调的人，这篇给出了一个可复用的正则化组合：用局部曲率自适应的权重扰动把优化推向平坦极小值，再加一个跨干净/对抗/OOD 输入的特征对齐损失，从而在同一个微调流程里同时保住 ID、OOD 和对抗三个轴，可直接移植到 CLIP 类模型的鲁棒微调。
MAPS：通过模块级邻近调度保持视觉-语言表征以提升视觉-语言-动作泛化能力
MAPS: Preserving Vision-Language Representations via Module-Wise Proximity Scheduling for Better Vision-Language-Action Generalization
对做 VLA/机器人策略学习的人，这篇给出了一个无需额外参数、可直接插入现有 VLA 的微调调度策略：按模块（视觉编码器 vs 动作导向语言层）差异化地放松对预训练 VLM 的邻近约束，从而在适配下游操作任务的同时保住 OOD 泛化，可直接复用到 OpenVLA 类模型的微调流程中。