Tag · 2 篇
多标签识别
01 02
重新审视多标签图像识别微调中的 BCE 损失
Rethinking BCE Loss for Multi-Label Image Recognition with Fine-Tuning
针对 CLIP 提示词微调做多标签识别时 BCE 监督导致的置信度失准问题，提出用类别协方差正则把预测的类别置信度协方差结构对齐到预训练文本嵌入的语义相关性上，可作为即插即用的正则项用于任何基于 CLIP 的多标签/多类别微调流程，改善校准而不损精度。
FedMPT：视觉语言模型的联邦多标签提示微调
FedMPT: Federated Multi-Label Prompt Tuning of Vision-Language Models
在联邦场景下对 VLM 做多标签提示微调时，用 LLM 生成的条件提示与图像 patch 做最优传输来挖掘区域级语义，并用门控融合多条件预测，可缓解客户端异构数据导致的虚假标签共现过拟合；这套「条件提示 + 区域对齐」思路可迁移到其他需要细粒度多标签或开放词表的 VLM 适配任务。