自监督与表征学习 / CVPR2026
超越共享信息:从中间层恢复丢失的独特信息以提升多模态地理基础模型
Beyond What's Shared: Recovering Lost Unique Information from Intermediate Layers to Boost Multimodal Geo-Foundation Models
对做多模态对比学习(如 CLIP 式图文对齐)的人,这篇给出一个几乎零成本的改进:把中间层与最后一层特征融合,可恢复被对齐目标压掉的模态特有信息;其逐层分析(模态间隙、表征相似度、互信息)也可直接迁移到视觉-语言模型的特征选择与层融合策略上。
对比学习多模态对齐表征融合