梯度正交化

Octopus：面向多模态大语言模型持续学习的无历史梯度正交化

Octopus: History-Free Gradient Orthogonalization for Continual Learning in Multimodal Large Language Models

为视觉-语言模型的多任务顺序微调提供了一种无需存储历史数据的梯度正交化约束，可直接用于缓解 MLLM 在连续下游视觉任务（如 VQA、captioning）微调时的灾难性遗忘。