Tag · 1 篇
ProM3E: Probabilistic Masked MultiModal Embedding Model for Ecology
在嵌入空间做掩码模态重建、支持任意模态到任意模态的生成与模态反转,这种「学什么该融合」的概率式融合思路可直接迁移到视觉-文本-音频等多模态检索与缺失模态补全任务。