图文对比学习

CLIP 目光短浅：把注意力放到第一句之外

CLIP Is Shortsighted: Paying Attention Beyond the First Sentence

揭示了长描述图文对中「首句摘要」造成的注意力捷径，并给出无需额外参数的训练期去偏方案（去掉摘要句＋句子子采样＋词元填充），可直接用于改进 CLIP 类图像编码器在密集描述与长文本检索上的对齐质量。