Tag · 1 篇
Elastic Weight Consolidation Done Right for Continual Learning
对做视觉模型持续学习/增量训练的人，这篇给出了一个几乎零成本的改动：在计算 Fisher 信息矩阵时把 logit 取反，即可同时缓解梯度消失与冗余保护，可直接替换现有 EWC 正则项用于视觉骨干网络的顺序多任务训练。