Tag · 1 篇
Towards Balanced Multi-Modal Learning in 3D Human Pose Estimation
用 Shapley 值量化各模态(RGB/LiDAR/mmWave/WiFi)对 3D 姿态估计的边际贡献来诊断模态不平衡,并配合训练早期的学习节奏调控策略,可迁移到任何多模态融合的视觉任务中做模态权重诊断与平衡训练。