Tag · 2 篇
提示微调
01 02
警惕无源跨域少样本学习中的判别性陷阱
Mind the Discriminability Trap in Source-Free Cross-domain Few-shot Learning
揭示了 VLM 在无源跨域少样本微调中「视觉判别性越强反而越差」的捷径现象:交叉熵损失中的视觉学习项会绕过跨模态对齐,因此做 CLIP/SigLIP 下游适配时应显式扰动视觉分支并利用图文语义关系逐步恢复模态对齐,而不是一味增强视觉特征判别性。
AVION:从离线教师到提示微调网络的遥感视觉-语言指令
AVION: Aerial Vision-Language Instruction from Offline Teacher to Prompt-Tuned Network
用大语言模型生成并经验证筛选的文本原型作为教师信号,蒸馏到视觉-语言双塔的轻量可学习 prompt 中,推理时学生独立运行;这套「离线教师+prompt 微调」范式可直接迁移到其他专业成像域(医学、遥感、工业)的 CLIP 类模型适配。