预训练噪声

稳定含噪预训练模型的特征几何以提升下游任务鲁棒性

Stabilizing Feature Geometry in Noisy Pretrained Models for Robust Downstream Tasks

对做预训练-微调视觉模型的人，这篇给出一个可复用的诊断量 PDA 来量化噪声预训练模型的主特征子空间旋转，并用扰动一致性、方差-激活正则与特征一致性蒸馏把子空间拉回干净模型的方向，可直接用于清洗噪声数据后的模型修复或鲁棒微调。