Tag · 2 篇
模态缺失鲁棒性
分布 底层视觉与图像复原1视觉语言模型1
01 02
通过干预稳定特征学习的多模态图像融合
Multi-Modal Image Fusion via Intervention-Stable Feature Learning
把因果干预（互补掩码、同区域随机掩码、模态 dropout）当作构造训练信号的手段，配合自适应不变性门控筛选「跨扰动模式仍重要」的特征，可直接迁移到多模态融合、跨模态对齐以及模态缺失下的鲁棒表征学习。
先增强后平衡的模态协作框架用于鲁棒多模态情感分析
Enhance-then-Balance Modality Collaboration for Robust Multimodal Sentiment Analysis
对做多模态融合的视觉研究者，这篇提供了处理「视觉/音频弱模态被文本主导」的可复用思路：用能量势建模各模态贡献并做隐式梯度重平衡，再用样本级可靠性估计自适应调融合权重，可直接迁移到视觉-语言融合、缺失模态鲁棒性等场景。