Tag · 4 篇

多模态嵌入

分布视觉语言模型3自监督与表征学习1

TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis

TESSERA 用 Barlow Twins 加稀疏随机时序采样，让像素级嵌入对观测缺失保持不变，这种「对不规则采样鲁棒」的自监督目标可以直接迁移到视频或时序图像的自监督预训练中；它发布的 int8 全球嵌入和轻量适配头也为大规模检索提供了可复用的工程范式。

MuCo: Multi-turn Contrastive Learning for Multimodal Embedding Model

MuCo 将多轮对话结构引入对比学习，在单次前向中处理多个相关查询-目标对，可复用于视觉-语言检索模型的训练效率提升与嵌入一致性增强。

Illuminating Visual Identity in Universal Multimodal Embeddings

提出身份感知采样机制，在通用多模态嵌入中联合优化视觉身份表示，可直接用于实例检索、重识别和生成内容身份保持等视觉任务。

BUSSARD: Normalizing Flows for Bijective Universal Scene-Specific Anomalous Relationship Detection

把场景图里的物体-关系-物体三元组用语言模型嵌入后接归一化流做似然式异常检测，为视觉关系理解提供了一个可复用的『关系级异常打分』范式，可直接迁移到场景图生成的关系合理性校验或开放世界关系检测。