Tag · 2 篇
任务算术
分布 自监督与表征学习1自动驾驶与遥感1
01 02
理解并强制任务算术中的权重解耦
Understanding and Enforcing Weight Disentanglement in Task Arithmetic
对做视觉模型微调与多任务合并的人,OrthoReg 提供了一个可直接插入微调过程的权重更新正交正则项,用来缓解任务向量相加时的相互干扰,可用于多任务模型合并、个性化编辑与持续微调场景。
MOMO:面向火星轨道应用的火星轨道模型基础模型
MOMO: Mars Orbital MOdel Foundation Model for Mars Orbital Applications
用模型融合(task arithmetic)把不同分辨率传感器上独立预训练的表示合并成一个基础模型,并给出按验证损失相似度对齐检查点的 EVL 策略;做多源、多分辨率遥感或多模态预训练的人可以直接复用这套「先各自预训练、再按收敛阶段对齐融合」的流程,避免从头联合训练。