Tag · 1 篇
Dynamic Momentum Recalibration in Online Gradient Learning
SGDF 把梯度动量重解释为信号处理中的最优线性滤波，在线计算时变增益来平衡噪声抑制与信号保留；做视觉模型训练时可直接替换 SGD/Adam 类优化器，尤其适合梯度噪声大的小 batch 或高方差任务。