Tag · 2 篇

概率嵌入

ProM3E: Probabilistic Masked MultiModal Embedding Model for Ecology

在嵌入空间做掩码模态重建、支持任意模态到任意模态的生成与模态反转，这种「学什么该融合」的概率式融合思路可直接迁移到视觉-文本-音频等多模态检索与缺失模态补全任务。

Gravitation-Driven Semantic Alignment for Text Video Retrieval

把跨模态语义分布的对齐拆成「语义引力」（由不确定性导出的语义质量与语义距离）和「几何重叠」两个正交因子，并给出 O(D) 的闭式替代来避免难解的联合积分——做视频-文本检索或任何需要处理多对多语义歧义、区分难负样本的跨模态对齐任务时，这套概率分布匹配打分可以直接替换确定性嵌入的余弦相似度。