Tag · 1 篇
Understanding and Enforcing Weight Disentanglement in Task Arithmetic
对做视觉模型微调与多任务合并的人,OrthoReg 提供了一个可直接插入微调过程的权重更新正交正则项,用来缓解任务向量相加时的相互干扰,可用于多任务模型合并、个性化编辑与持续微调场景。