Tag · 2 篇
注意力偏置
分布 视觉语言模型1生成模型与扩散1
01 02
CLIP 目光短浅：把注意力放到第一句之外
CLIP Is Shortsighted: Paying Attention Beyond the First Sentence
揭示了长描述图文对中「首句摘要」造成的注意力捷径，并给出无需额外参数的训练期去偏方案（去掉摘要句＋句子子采样＋词元填充），可直接用于改进 CLIP 类图像编码器在密集描述与长文本检索上的对齐质量。
锚定与重标定注意力实现语义连贯的中间帧生成
Anchoring and Rescaling Attention for Semantically Coherent Inbetweening
把关键帧与文本作为语义/时序引导注入自注意力（Keyframe-anchored Attention Bias），并用重标定的时序 RoPE 强化帧间一致性，这套无需训练的注意力调制手段可直接迁移到视频插帧、长视频生成与关键帧约束的扩散采样中。