Tag · 2 篇
CLIP微调
01 02
词汇缩放定律：调整开放词表预测器以提升其开放性
Vocabulary Scaling Law: Tuning Open-vocabulary Predictors for Their Openness
提出词汇缩放定律，指导开放词表预测器的微调应覆盖整个词汇表、调整类名嵌入并强制提示词嵌入正交；SVFT 通过子模最大化选择信息量大的类名子集进行高效微调，可直接用于提升 CLIP 在开放世界中的稳定性和可扩展性。
可解释的跨域少样本学习与校正目标域局部对齐
Interpretable Cross-Domain Few-Shot Learning with Rectified Target-Domain Local Alignment
针对CLIP在跨域少样本场景下局部视觉-文本对齐失效的问题，提出基于循环一致性的自监督对齐方法，并引入语义锚框机制过滤噪声，可提升医学等细粒度领域的可解释识别性能。