New Interpretation of Optimizer Momentum as Online Regression Solution
#optimizer#momentum#online-regression#machine-learning
In a blog post, Su Jianlin proposes viewing the momentum term in optimizers not merely as a gradient average but as the solution to an online regression problem. This perspective naturally leads to recent optimizer works, offering a new theoretical lens for understanding and designing optimizers.
Coverage timeline
科学空间 (苏剑林)苏剑林
一个以动量为状态变量的优化器，基本形式如下： \begin{equation}\begin{aligned} \boldsymbol{M}_t =&\, \beta \boldsymbol{M}_{t-1} + (1 - \beta) \boldsymbol{G}_t \\[4pt] \boldsymbol{W}_t =&\, \phi(\boldsymbol{W}_{t-1}, \boldsymbol{M}_t, \boldsymbol{G}_t, t) \end{aligned}\end{equation} 不同的优化器差别主要体现在更新函数$\phi$上，如SGDM、SignSGD、Muon等，新的探索也基本围绕$\phi$进行，因为第一个式子的动量太简单，简单到大家不认为它有什么修改空间。 而本文的主角正是动量。我们将给动量机制带来一个新的理解视角：动量不仅仅可以看作梯度的平均，它还可以被视为一个在线回归问题的解。由此出发，我们可以自然地引出最近的一些工作。 [...]