正交约束

面向安全对齐多模态大模型的持续视觉指令微调中的和谐参数适配

Harmonious Parameter Adaptation in Continual Visual Instruction Tuning for Safety-Aligned MLLMs

对做多模态大模型持续指令微调的人，这篇给出了一个后训练框架：按参数对安全/任务的关注度做分区，再从平衡视角选择要保留的参数子集，并对更新施加正交约束，可直接迁移到视觉指令微调的增量学习场景以同时抑制任务遗忘与安全退化。