Tag · 2 篇
两阶段微调
分布 自监督与表征学习1鲁棒性与安全1
01 02
Octopus：面向多模态大语言模型持续学习的无历史梯度正交化
Octopus: History-Free Gradient Orthogonalization for Continual Learning in Multimodal Large Language Models
为视觉-语言模型的多任务顺序微调提供了一种无需存储历史数据的梯度正交化约束，可直接用于缓解 MLLM 在连续下游视觉任务（如 VQA、captioning）微调时的灾难性遗忘。
解耦防御策略的鲁棒图像水印
Decoupling Defense Strategies for Robust Image Watermarking
提出两阶段解耦防御框架：第一阶段通过主要微调编码器、条件更新解码器的对抗训练，将图像移入不可攻击区域而非修改决策边界，从而保持干净精度；第二阶段用带理论保证的约束图像损失和品质感知早停直接优化图像，兼顾失真与再生攻击鲁棒性。该解耦思路可迁移至其他需要同时抵御对抗与失真攻击的视觉任务。