Tag · 4 篇
多模态表征学习
ProM3E：面向生态学的概率掩码多模态嵌入模型
ProM3E: Probabilistic Masked MultiModal Embedding Model for Ecology
在嵌入空间做掩码模态重建、支持任意模态到任意模态的生成与模态反转，这种「学什么该融合」的概率式融合思路可直接迁移到视觉-文本-音频等多模态检索与缺失模态补全任务。
基于半监督率失真的多模态表征学习用于广义类别发现
Multi-Modal Representation Learning via Semi-Supervised Rate Reduction for Generalized Category Discovery
把率失真（rate reduction）目标从单模态扩展到多模态半监督场景，用模态内对齐约束表征的紧凑性与结构性，可作为开放集识别、新类发现类视觉任务中替代纯对比学习的表征学习目标。
GraPHFormer：用于神经科学形态分析的多模态图持续同调 Transformer
GraPHFormer: A Multimodal Graph Persistent Homology Transformer for the Analysis of Neuroscience Morphologies
把持续同调得到的持续图像当作三通道视觉输入、用 DINOv2-ViT 提取特征，再与 TreeLSTM 的骨架图特征做 CLIP 式对称 InfoNCE 对齐——这套「拓扑图像 + 图结构」双分支对比框架可直接迁移到其他需要同时建模形状拓扑与骨架几何的视觉任务（如血管、道路、细胞骨架分析）。
CLCR：面向多模态学习的跨层级语义协同表征
CLCR: Cross-Level Semantic Collaborative Representation for Multimodal Learning
对做视觉-语言或多模态融合的研究者，可复用其「层级化共享/私有子空间 + 可学习词元预算约束跨模态注意力」的设计，避免私有信息在融合时泄漏，并可用其层级锚点聚合思路处理视觉与文本语义尺度不同步的问题。