模态鸿沟

模态鸿沟是缺陷还是特性？一个鲁棒性视角

Is the Modality Gap a Bug or a Feature? A Robustness Perspective

对做视觉-语言对齐（CLIP 类）的研究者，这篇给出了一个可直接复用的后处理手段：把图像嵌入整体平移到文本嵌入均值方向，即可在不损失干净精度的前提下提升对语义无关扰动的稳定性；同时提供了「对比损失最优解必然产生正交全局鸿沟向量」的理论视角，可用于分析嵌入空间几何与鲁棒性的关系。