Tag · 4 篇
模态不平衡
分布 视觉语言模型2人脸与人体理解1鲁棒性与安全1
01 02 03 04
面向 3D 人体姿态估计的平衡多模态学习
Towards Balanced Multi-Modal Learning in 3D Human Pose Estimation
用 Shapley 值量化各模态（RGB/LiDAR/mmWave/WiFi）对 3D 姿态估计的边际贡献来诊断模态不平衡，并配合训练早期的学习节奏调控策略，可迁移到任何多模态融合的视觉任务中做模态权重诊断与平衡训练。
通过隐式模态分解实现多模态大模型的参数高效适配
Parameter-Efficient Adaptation for MLLMs via Implicit Modality Decomposition
把 LoRA 的可学习参数按模态拆成文本专属、非文本专属与模态共享三部分，并加解耦/对齐约束，可直接迁移到视觉-语言模型（如 LLaVA 类）的 PEFT 微调中，缓解文本模态主导更新、视觉表征学不充分的问题。
基于保形预测自校准的低质量数据多模态学习
Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration
把保形预测当作在线可靠性打分器，用它对单模态特征做选择性融合、对反向传播梯度按样本可靠性重加权，可直接迁移到视觉多模态（RGB-深度、图像-文本）训练中应对模态失衡与标签噪声。
先增强后平衡的模态协作框架用于鲁棒多模态情感分析
Enhance-then-Balance Modality Collaboration for Robust Multimodal Sentiment Analysis
对做多模态融合的视觉研究者，这篇提供了处理「视觉/音频弱模态被文本主导」的可复用思路：用能量势建模各模态贡献并做隐式梯度重平衡，再用样本级可靠性估计自适应调融合权重，可直接迁移到视觉-语言融合、缺失模态鲁棒性等场景。