Tag · 2 篇
跨模态哈希
01 02
掩码对齐、加权消歧:基于掩码加权对比的可靠无监督跨模态哈希
Mask to Align, Weight to Disambiguate: Reliable Unsupervised Cross-Modal Hashing with Masked-Weight Contrast
在多模态融合前引入掩码构造部分观测交互,并用语义亲和度加权的对比目标抑制假阴性,这套「掩码+加权对比」思路可直接迁移到视觉-文本检索、图文对齐等跨模态表征学习任务中,缓解主导模态偏置与语义相近样本被误判为负例的问题。
面向跨模态检索的类内分布引导生成哈希与邻居精炼
Intra-class Distribution-guided Generative Hashing with Neighbor Refinement for Cross-modal Retrieval
用类内分布估计加邻居引导修正来生成语义多样的合成样本,可作为一种即插即用的数据增广/难样本构造手段,用于跨模态检索中的哈希码判别性学习。