Tag · 13 篇
提示词微调
面向视觉语言模型提示词微调的校准
Towards Calibrating Prompt Tuning of Vision- Language Models
为 CLIP 提示词微调提供了一套即插即用的校准正则项：均值-方差间隔惩罚稳定类间 logit 间隔，文本矩匹配损失约束微调后文本嵌入的一二阶矩贴近冻结 CLIP 嵌入，可直接加到现有 prompt tuning 训练目标上降低 ECE。
重新审视多标签图像识别微调中的 BCE 损失
Rethinking BCE Loss for Multi-Label Image Recognition with Fine-Tuning
针对 CLIP 提示词微调做多标签识别时 BCE 监督导致的置信度失准问题，提出用类别协方差正则把预测的类别置信度协方差结构对齐到预训练文本嵌入的语义相关性上，可作为即插即用的正则项用于任何基于 CLIP 的多标签/多类别微调流程，改善校准而不损精度。
面向增量目标检测的参数化提示词
Parameterized Prompt for Incremental Object Detection
把可训练提示词从「提示池」改为由神经网络参数化生成，并用融合策略约束更新，可直接迁移到增量目标检测与开放世界检测中缓解新旧类共现导致的提示混淆与灾难性遗忘。
PET-DINO：通过提示词增强训练将视觉线索统一到 Grounding DINO 中
PET-DINO: Unifying Visual Cues into Grounding DINO with Prompt-Enriched Training
在 Grounding DINO 这类文本提示检测器上，用轻量视觉提示生成模块（AFVPG）把视觉线索注入文本提示路径，并配合批内并行提示与动态记忆提示两种训练策略，为开放词表/零样本检测提供了一条无需复杂多阶段优化的视觉提示融合方案。
通过双向多视图提示词对齐实现噪声感知少样本学习
Noise-Aware Few-Shot Learning through Bi-directional Multi-View Prompt Alignment
把提示词微调从全局图文匹配推进到区域级 patch-to-prompt 对齐，并用非平衡最优传输抑制不可靠区域，为视觉语言模型在噪声监督下的少样本适配提供了可复用的对齐与样本筛选机制。
EfficientVPR：基于场景感知提示词微调与自适应特征增强的高效视觉位置识别
EfficientVPR: Toward Efficient Visual Place Recognition via Scene-Aware Prompt Tuning and Adaptive Feature Enhancement
用场景感知的视觉提示词微调加实例相关的局部关键特征增强，在 DINOv2-small 上以低维特征实现 73 倍加速，为视觉检索类任务提供了一条「不靠堆模型容量、不靠重排序」的效率路线，可直接迁移到图像检索与重定位的特征提取环节。
DPL：解耦原型学习以增强视觉-语言 Transformer 对缺失模态的鲁棒性
DPL: Decoupled Prototype Learning for Enhancing Robustness of Vision-Language Transformers to Missing Modalities
对做多模态视觉-语言模型的人，DPL 提供了一种可插拔的预测头设计：按当前缺失模态情形选择类原型并分解为图像/文本分量，可直接替换现有提示词框架后的全连接检测头，用于提升图像缺失时的推理鲁棒性。
面向边缘持续学习的关键图像块感知稀疏提示与解耦训练
Critical Patch-Aware Sparse Prompting with Decoupled Training for Continual Learning on the Edge
把「关键图像块采样」作为任务感知的词元削减手段，配合提示词与分类器解耦训练来降低反向传播开销，为在显存受限的边缘设备上做视觉模型的持续适配提供了可复用的训练期效率方案。
面向视觉语言模型长尾泛化的聚类感知神经坍缩提示词微调
Cluster-Aware Neural Collapse Prompt Tuning for Long-Tailed Generalization of Vision-Language Models
把神经坍缩的 ETF 几何约束引入提示词微调，用聚类级局部约束替代全局约束，为在类不平衡数据上微调 VLM 时保住尾类判别力提供了一个可复用的损失设计思路。
CLIPoint3D：基于语言锚定的少样本无监督三维点云域自适应
CLIPoint3D: Language-Grounded Few-Shot Unsupervised 3D Point Cloud Domain Adaptation
把点云投影成多张深度图后直接复用冻结的 CLIP 主干，配合知识驱动的提示词微调和熵引导的视角采样，为 3D 域自适应提供了一条无需训练重型 3D 编码器的轻量路线；其中的最优传输对齐损失与不确定性感知原型对齐损失也可迁移到其他跨域特征对齐场景。
CASPA：面向视觉语言模型模态无关适配的图结构概念锚点
CASPA: Graph-Structured Concept Anchors for Modality-Agnostic Adaptation in Vision-Language Models
把适配从「每类一组提示词参数」改为「共享文本/图像锚点上的软关联分布」，在冻结 CLIP 骨干的前提下实现参数共享与跨类语义复用；做 VLM 下游适配（少样本、跨数据迁移）时可直接替换 class-specific prompt 的参数化方式，并用 S-XCR 约束图文推理空间一致。
CAPT：面向减少视觉-语言错位的混淆感知提示词微调
CAPT: Confusion-Aware Prompt Tuning for Reducing Vision-Language Misalignment
把 CLIP 类模型在相似类别间的系统性混淆当作可学习的监督信号：用混淆库加语义/样本双挖掘器与多粒度专家融合来修正提示词，可直接迁移到任何需要细粒度判别或开放词表分类的视觉-语言下游任务。
BiPA：面向水下实例分割的双层提示词适配
BiPA: Bilevel Prompt Adaptation for Underwater Instance Segmentation
把 SAM 的稠密提示词学习建模成双层优化，并用贝叶斯优化在冻结主干的前提下先搜提示词、再微调模型，这套「先优化提示词、后调参数」的两阶段流程可直接迁移到其他严重域偏移场景（如医学、遥感）的 SAM 适配。