Tag · 2 篇
缺失模态鲁棒性
01 02
DPL：解耦原型学习以增强视觉-语言 Transformer 对缺失模态的鲁棒性
DPL: Decoupled Prototype Learning for Enhancing Robustness of Vision-Language Transformers to Missing Modalities
对做多模态视觉-语言模型的人，DPL 提供了一种可插拔的预测头设计：按当前缺失模态情形选择类原型并分解为图像/文本分量，可直接替换现有提示词框架后的全连接检测头，用于提升图像缺失时的推理鲁棒性。
CICA：耦合置信度感知预训练与置信度引导注意力，实现鲁棒的多模态情感分析
CICA: Coupling Confidence-Aware Pretraining with Confidence-Informed Attention for Robust Multimodal Sentiment Analysis
把「每个模态编码器自估置信度」作为预训练目标，再用置信度加权注意力做融合，这套机制可直接迁移到视觉-语言任务中处理图像/文本模态噪声或缺失的场景（如噪声图文检索、缺失模态的VQA）。