Tag · 4 篇

多模态学习

分布鲁棒性与安全2自监督与表征学习1医学影像与生物视觉1

Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration

把保形预测当作在线可靠性打分器，用它对单模态特征做选择性融合、对反向传播梯度按样本可靠性重加权，可直接迁移到视觉多模态（RGB-深度、图像-文本）训练中应对模态失衡与标签噪声。

Multi-modal Test-time Adaptation via Adaptive Probabilistic Gaussian Calibration

把类别条件分布显式建模成概率高斯模型，并用对比式非对称校正来抵消模态间分布不对称，这套思路可直接迁移到视觉-语言模型在推理阶段的分布偏移自适应，尤其是需要可靠决策边界的开放场景。

Label What Matters: Modality-Balanced and Difficulty-Aware Multimodal Active Learning

将样本选择建模为马尔可夫决策过程，用强化学习策略动态调整模态权重与样本难度，可直接迁移到多模态视觉任务（如图像-文本、视频-音频）的主动学习标注流程中。

Factorized Context Aggregation for Robust Cancer Risk Estimation via Soft Re-Ranked Retrieval and Hierarchical Anchors

提出以组织病理学为锚、其他模态仅用于训练的解耦框架，结合软重排序检索与分层锚框，在模态缺失下保持鲁棒性；其检索与分层锚框机制可迁移至其他多模态医学影像任务。