Tag · 8 篇
缺失模态
虚拟节点引导的动态图神经网络用于缺失模态脑肿瘤分割
Virtual Nodes Guided Dynamic Graph Neural Network for Brain Tumor Segmentation with Missing Modalities
针对多模态医学影像中模态缺失问题，提出基于虚拟节点和图动态连接的统一框架，可复用于其他多模态融合任务（如RGB-D、多光谱）的缺失模态鲁棒性提升。
Uni-Encoder 遇上多编码器：面向缺失模态脑肿瘤分割的融合前表征
Uni-Encoder Meets Multi-Encoders: Representation Before Fusion for Brain Tumor Segmentation with Missing Modalities
两阶段「先表征后融合」的异构架构值得借鉴：先用掩码图像建模预训练单一 ViT 获得对模态缺失鲁棒的全局表征，再接入模态特定的 CNN 多编码器补回高分辨率细节，这一解耦思路可迁移到其他多模态缺失输入的密集预测任务。
面向鲁棒多模态语义分割的教师-学生框架与混合原型蒸馏
Towards Robust Multi-Modal Semantic Segmentation with Teacher-Student Framework and Hybrid Prototype Distillation
面向缺失模态的多模态语义分割，用反馈式自蒸馏让教师从非主导模态获得学生反馈，并用高层语义原型做跨模态蒸馏、用类内特征变化蒸馏保留模态特有细节，可直接迁移到任意多模态融合分割骨干上提升缺失模态鲁棒性。
面向少标签的多模态域泛化
Towards Multimodal Domain Generalization with Few Labels
把半监督伪标签与域泛化结合到多模态设定：用融合后各单模态一致的高置信预测生成伪标签，并对不一致样本单独建模，再用跨模态原型对齐约束域不变与模态不变表征——这套「一致性伪标签 + 分歧感知 + 原型对齐」可直接迁移到多模态分类或检索在少标注、跨域、模态缺失时的训练流程。
面向模态缺失 RGBT 跟踪的时空条件去噪 Transformer
Spatio-Temporal Conditional Denoising Transformer for Modality-Missing RGBT Tracking
把扩散式条件去噪引入多模态跟踪的特征重建：用长短期时序上下文作为条件，把可用模态的噪声特征逐步去噪成时序一致的多模态表征，并用噪声调制适配机制在单一网络内统一缺失/完整模态两种输入，可直接迁移到其他模态缺失的多模态融合任务。
MUST：面向缺失模态扩散增强生存预测的模态特异表征感知 Transformer
MUST: Modality-Specific Representation-Aware Transformer for Diffusion-Enhanced Survival Prediction with Missing Modality
把每个模态的表征显式拆成模态特异分量与跨模态上下文分量，再用条件潜变量扩散模型补全缺失模态的特异信息——这套「分解+条件生成补全」思路可直接迁移到视觉多模态任务（如RGB-深度、图像-文本）中的模态缺失场景。
超越缺失模态：超图条件扩散用于不确定性感知的多模态情感识别
Beyond Missing Modalities: Hypergraph Conditioned Diffusion for Uncertainty-Aware Multimodal Emotion Recognition
提出用掩码超图注意力条件扩散模型在潜空间恢复缺失模态特征，并用双通道证据融合量化不确定性，可迁移到视觉-语言多模态任务中处理模态缺失与不确定性建模。
BALM：面向不均衡缺失率下均衡多模态学习的模型无关框架
BALM: A Model-Agnostic Framework for Balanced Multimodal Learning under Imbalanced Missing Rates
针对各模态缺失概率不一致（IMR）的场景，BALM 的特征校准模块用全局上下文重建单模态特征、梯度再平衡模块从分布与空间两个角度调节梯度幅值与方向，可作为即插即用模块嵌入多模态骨干，直接用于视觉-音频-文本多模态识别中缺失鲁棒性的提升。