矩匹配

面向视觉语言模型提示词微调的校准

Towards Calibrating Prompt Tuning of Vision- Language Models

为 CLIP 提示词微调提供了一套即插即用的校准正则项：均值-方差间隔惩罚稳定类间 logit 间隔，文本矩匹配损失约束微调后文本嵌入的一二阶矩贴近冻结 CLIP 嵌入，可直接加到现有 prompt tuning 训练目标上降低 ECE。