注意力汇聚

应对无源跨域少样本学习中加剧的注意力汇聚问题

Addressing Exacerbated Attention Sink for Source-Free Cross-Domain Few-Shot Learning

揭示了CLIP类VLM在目标域少样本微调时注意力汇聚被加剧、导致类间判别性下降的问题，并给出按token与目标类相关性动态重加权的通用微调策略，可直接用于任何需要把CLIP迁移到新域的少样本适配场景。