Tag · 1 篇
Hierarchically Robust Zero-shot Vision-language Models
把类别层级结构(父类-叶类)引入对抗微调,用层次化嵌入与多层级图文对齐同时提升自然性能与对抗鲁棒性;对做 VLM 鲁棒微调、开放词表分类的人,这是一个可直接复用的对齐框架,并给出嵌入深度与最大间隔尺寸的理论联系。