自监督与表征学习 / CVPR2026
Easy2Hard:从部分不匹配到完全不匹配的模态作为对比学习负样本
Easy2Hard: From Partially to Fully Unmatched Modalities as Negative Samples in Contrastive Learning
对做多模态视觉表征(如图文、视频-音频-文本)的研究者,这篇论文给出了一个可直接替换的负样本构造与加权策略:把部分不匹配与完全不匹配的模态对分开,并用 sigmoid 权重课程从易到难过渡,可嵌入现有对比学习损失中提升细粒度对齐效果。
对比学习多模态对齐课程学习