Tag · 1 篇
Information-Theoretic Decomposition for Multimodal Interaction Learning
为视觉-语言等多模态模型提供逐样本自适应的交互分解思路:用变分分解把冗余、独特、协同信息显式拆开,再在微调阶段分别利用,可直接迁移到 VLM 的多模态融合模块或跨模态对齐训练中。