Classic Adaptive Gradient Algorithm AdaGrad and Its Legacy
The ninth article in the series introduces AdaGrad, the foundational adaptive gradient algorithm from a 2011 paper, which generalizes SGD's convergence results to preconditioned forms and derives the optimal preconditioner as the inverse square root of the gradient's second moment. It highlights AdaGrad's influence on subsequent optimizers like RMSProp and Adam, despite its own limited popularity.
Coverage timeline
科学空间 (苏剑林)苏剑林
本系列前面八篇文章，都是在围绕SGD及其学习率讨论。而从本文开始，我们将正式进入自适应梯度算法的世界。可以说，现在所有的自适应梯度算法，都有一个共同的源头，那就是2011年的经典之作 《Adaptive Subgradient Methods for Online Learning and Stochastic Optimization》 ——也就是著名的AdaGrad论文。 这篇论文将SGD的经典收敛结论推广到一般的预条件矩阵形式，继而推导出最优的预条件矩阵正是梯度的二阶矩（的$-1/2$次幂），然后取对角线近似得到AdaGrad。虽然AdaGrad本身不算太流行，其启发的后续工作如RMSProp、Adam等，是当之无愧的主流优化器。不仅如此，后续的Shampoo、KL-Shampoo等优化器，都还算是它的传承。 本文就让我们一起来重温这篇经典作品。 [...]