Tag · 2 篇
组合性理解
01 02
双曲视觉语言模型中基于不确定性引导与部分到整体语义代表性的组合对齐
Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models
把双曲空间中的不确定性作为「部分对整体语义代表性」的度量，并用不确定性加权对比损失与熵正则的蕴含损失来校准，可直接迁移到需要建模层级/组合结构的图文对齐与检索任务。
无需硬负样本：以概念为中心的学习在不损害对比模型零样本能力的前提下实现组合性
No Hard Negatives Required: Concept Centric Learning Leads to Compositionality without Degrading Zero-shot Capabilities of Contrastive Models
用无参数的跨模态注意力池化替代文本/图像编码器的全局池化，从图像中抽取概念级视觉嵌入，并与短概念化文本片段对齐；这套改动可直接插到 CLIP 类双塔模型上，在不增加推理成本的前提下提升组合性理解，同时不牺牲零样本与检索性能。