Tag · 14 篇
零样本分类
双曲视觉语言模型中基于不确定性引导与部分到整体语义代表性的组合对齐
Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models
把双曲空间中的不确定性作为「部分对整体语义代表性」的度量，并用不确定性加权对比损失与熵正则的蕴含损失来校准，可直接迁移到需要建模层级/组合结构的图文对齐与检索任务。
Ultrasound-CLIP：面向超声图像-文本理解的语义感知对比预训练
Ultrasound-CLIP: Semantic-Aware Contrastive Pre-training for Ultrasound Image-Text Understanding
对做医学视觉-语言预训练的人，这篇给出了一个可复用的思路：用领域诊断属性体系构造语义软标签和语义损失，替代 CLIP 的硬负样本对比，并额外引入由文本属性构建的异构图模态做结构化推理；US-365K 与 UDT 体系也可直接作为超声域 VLM 的评测与预训练资源。
TAMER：面向零样本心电图诊断的三模态对比对齐与多尺度嵌入细化框架
TAMER: A Tri-Modal Contrastive Alignment and Multi-Scale Embedding Refinement Framework for Zero-Shot ECG Diagnosis
论文提出的三模态对比对齐与多尺度嵌入细化框架，可迁移到视觉-语言-信号的多模态融合任务中，特别是利用诊断报告进行细粒度语义对齐的思路，对医学图像的多模态预训练有直接参考价值。
面向卫星影像的光谱蒸馏表征与指令增强 LLM 对齐
Spectrally Distilled Representations Aligned with Instruction-Augmented LLMs for Satellite Imagery
用冻结的多光谱教师模型向 RGB 学生模型蒸馏光谱先验，再把视觉空间对齐到指令增强 LLM 的嵌入空间，使推理阶段只需 RGB 输入即可获得光谱感知的跨模态表征；这套「教师蒸馏 + LLM 对齐」的两阶段范式可直接迁移到遥感或其他多模态缺失场景的视觉语言预训练。
SOTA：面向多基础模型零样本分类的自适应最优传输
SOTA: Self-adaptive Optimal Transport for Zero-Shot Classification with Multiple Foundation Models
提出一种免训练的自适应最优传输集成框架，可即插即用地融合多个视觉或视觉语言基础模型的输出，提升零样本分类性能，为多模型集成提供新思路。
统一多模态大模型的罗塞塔石碑：一种破译理解与生成的统一分词器
Rosetta Stone For Unified MLLMs: A Unified Tokenizer to Decipher Understanding and Generation
提出一种分层解耦代理任务并引入注意力优先映射的统一视觉分词器，可直接替换离散统一多模态大模型中的视觉分词模块，在理解与生成任务上同时提升；其关于对比学习式模型在统一生成与理解时存在内在冲突、以及码本收敛行为差异的分析，对设计统一视觉表征具有直接参考价值。
ORION：面向通用 VLM 适配的正交文本编码
ORION: ORthonormal Text Encoding for Universal VLM AdaptatION
把文本编码器的类别原型当作可优化对象，用低秩适配加正交性损失在仅有类名的条件下重塑 CLIP 文本嵌入，可直接替换下游零样本/少样本/测试时自适应流程中的手工 prompt 原型，是一种即插即用的分类头改进手段。
注意你选择负文本的方式：在视觉语言模型的 OOD 检测中追求距离一致性
Mind the Way You Select Negative Texts: Pursuing the Distance Consistency in OOD Detection with VLMs
对做开放世界视觉识别的人，这篇给出了一个可直接复用的思路：用 CLIP 原生优化的跨模态距离（而非模态内距离）来挑选负文本并反演高置信 OOD 图像生成额外负文本嵌入，可作为即插即用的 OOD 打分与负样本构造模块。
层次化鲁棒的零样本视觉语言模型
Hierarchically Robust Zero-shot Vision-language Models
把类别层级结构（父类-叶类）引入对抗微调，用层次化嵌入与多层级图文对齐同时提升自然性能与对抗鲁棒性；对做 VLM 鲁棒微调、开放词表分类的人，这是一个可直接复用的对齐框架，并给出嵌入深度与最大间隔尺寸的理论联系。
通过概念解释 CLIP 的零样本预测
Explaining CLIP Zero-shot Predictions Through Concepts
把 CLIP 的图像-文本联合嵌入投影到由语言描述学到的概念空间，用对齐+重建目标训练，可在不改 CLIP 权重、不加概念监督的前提下为开放词表零样本预测给出概念级解释；做 VLM 可解释性或概念瓶颈方向可直接复用该投影与训练目标。
CLIP 目光短浅：把注意力放到第一句之外
CLIP Is Shortsighted: Paying Attention Beyond the First Sentence
揭示了长描述图文对中「首句摘要」造成的注意力捷径，并给出无需额外参数的训练期去偏方案（去掉摘要句＋句子子采样＋词元填充），可直接用于改进 CLIP 类图像编码器在密集描述与长文本检索上的对齐质量。
偏见是子空间而非坐标：对视觉语言模型事后去偏的几何再思考
Bias Is a Subspace, Not a Coordinate: A Geometric Rethinking of Post-hoc Debiasing in Vision-Language Models
把「偏见分布在低维线性子空间而非个别坐标」这一几何视角，转化为可直接套用的后处理去偏算子：在嵌入空间做子空间投影并回填中性均值，可复用于CLIP类模型的零样本分类、图文检索与生成，无需重训练。
超越启发式提示词：面向零样本图像识别的概念引导贝叶斯框架
Beyond Heuristic Prompting: A Concept-Guided Bayesian Framework for Zero-Shot Image Recognition
把类别概念当作潜变量、用贝叶斯边缘化替代启发式提示词集成，并配一个无需训练的自适应软裁剪似然来压制离群概念——这套思路可直接迁移到 CLIP 类模型的零样本/少样本识别与开放词表分类中，替代手工 prompt 模板搜索。
激活很重要：面向视觉语言模型 OOD 检测的测试时激活负标签
Activation Matters: Test-time Activated Negative Labels for OOD Detection with Vision-Language Models
对做开放世界视觉识别的人，这篇给出了一个免训练、测试时在线挖掘高激活负标签的 OOD 检测流程：用测试样本在语料标签上的累积分配概率构造标签激活指标，并配合激活感知打分函数，可直接插到 CLIP 类 VLM 的零样本推理管线上，替代固定的远距离负标签集合。