Tag · 2 篇
零样本识别
分布 鲁棒性与安全1自监督与表征学习1
01 02
TTP：面向视觉语言模型对抗检测与鲁棒自适应的测试时填充
TTP: Test-Time Padding for Adversarial Detection and Robust Adaptation on Vision-Language Models
对做 CLIP 类视觉语言模型鲁棒性的人，这篇给出了一个无需重训的推理期防御范式：用空间填充前后 CLIP 特征的余弦相似度漂移做对抗检测，并对检测出的对抗样本用可训练填充修复注意力模式，可直接套用到自己的 VLM 安全部署流程中。
自我学习：从视觉语言模型内部挖掘知识用于持续学习
Learning from Itself: Mining Internal Knowledge from Vision Language Models for Continual Learning
把 CLIP 的文本编码器当作可挖掘的内部监督源：通过优化可学习 token 生成伪描述来弥合预训练-下游分布差距，并用按瞬时性能加权的双向蒸馏在视觉分类器与文本编码器之间迁移知识，推理时零额外开销——这套「模型自教」流程可直接迁移到任何需要持续适配的视觉-语言下游任务。