Tag · 1 篇
Towards Dynamic Modality Alignment in Multimodal Continual Learning
把跨模态对齐看作随任务与网络层演化而变化的动态过程,并用多层图正则化约束它,这个思路可直接迁移到视觉-语言模型的持续预训练或增量微调中,用来抑制跨模态表征漂移。