Tag · 2 篇
平坦极小值
01 02
FedAdamom：以自适应动量提升联邦优化泛化性
FedAdamom: Adaptive Momentum for Improved Generalization in Federated Optimization
对视觉研究者而言，这篇论文提供了一个可复用的优化器替换思路：在数据高度异构（如多源摄像头、跨域图像）的联邦训练中，把 FedAdam 的自适应学习率换成自适应动量超参数，可在不牺牲收敛速度的前提下提升泛化与平坦极小值偏好，可直接用于联邦视觉模型的训练脚本。
一条更快的持续学习路径
A Faster Path to Continual Learning
对做视觉持续学习或任何需要反复微调的场景，C-Flat Turbo 把 C-Flat 每步三次额外梯度计算压到更少，可直接替换优化器降低训练开销；其「平坦性梯度随任务趋于稳定」的观察也可用于设计其他正则化训练策略的调度。