Tag · 1 篇
Spectral Mixture-of-Experts for Continual Learning
把专家参数约束到互不相交的频域子空间以获得先验正交更新,并用离线专家重要性记忆约束路由漂移,这套「频域正交 + 双路由」思路可直接移植到视觉大模型的持续微调与多任务适配器合并中。