背景捷径学习

视觉 Transformer 需要的不仅是寄存器

Vision Transformers Need More Than Registers

论文指出 ViT 的 CLS 令牌会通过全局注意力把语义无关的背景图像块当作捷径来聚合全局语义，并给出一种选择性聚合图像块特征的方案；做视觉表征学习或下游微调时，可以直接替换 CLS 令牌的聚合方式，以抑制背景主导的伪影。