Tag · 2 篇
图文检索
01 02
Lenses：迈向多义视觉-语言理解
Lenses: Toward Polysemous Vision-Language Understanding
把「图像多义性」显式建模为可学习的 lens token 加多提示嵌入，并用 lens-masking 相似度做检索，为视觉-语言检索/描述任务提供了一个可复用的多视角对齐范式，也提示现有 VLM 评测存在字面语义偏置。
CoV-Align：以连贯视觉语义优先的高效细粒度跨模态对齐
CoV-Align: Efficient Fine-grained Cross-Modal Alignment with Cohesive Visual Semantics Priority
用无文本引导的语义收敛注意力先聚合视觉 patch，再与文本对齐，可把图文检索/跨模态检索中的 patch-word 冗余相关性计算量降下来，3-5x 加速对大规模多模态训练与推理有直接复用价值。