Exact Closed-Form Update Derived for Steepest Descent on Stiefel Manifold
In a blog post, Su Jianlin derives an exact closed-form update for steepest descent on the Stiefel manifold, following a recent paper that refutes the prior need to solve nonlinear equations. The post reproduces the full derivation, showing that explicit solutions exist without solving equation systems.
Coverage timeline
科学空间 (苏剑林)苏剑林
对于正交流形，我们此前的结论是：方阵情形下，我们可以完整地写出对应最速下降的解析解（参考 《流形上的最速下降：2. Muon + 正交》 ）；但对于非方阵的Stiefel流形，其最速下降问题需要求解一个非线性方程组，其解析解无法直接写出（参考 《流形上的最速下降：3. Muon + Stiefel》 ）。 但近日， 《Muon on the Stiefel Manifold Admits an Exact Closed-Form Update》 推翻了这个断言，它指出Stiefel流形上同样可以写出显式解，无须求解方程组。本文将用自己的思路，复述整个推导过程。 问题回顾 问题背景我们就不过多复述了，直接给出要求解的问题：设$\boldsymbol{W}\in\mathbb{R}^{n\times m}(n \geq m)$是当前参数，$\boldsymbol{G}$是目标函数在$\boldsymbol{W}$处的梯度，我们要找的是正交约束下步长为$\eta$的最速下降方向$\boldsymbol{\Phi}\in\mathbb{R}^{n\times m}$，即 \begin{equation}\newcommand{tr}{\mathop{\text{tr}}}\max_{\boldsymbol{\Phi}} \tr(\boldsymbol{G}^{\top}\boldsymbol{\Phi}) \qquad \text{s.t.}\qquad \Vert\boldsymbol{\Phi}\Vert_2 \leq 1,\,\, \boldsymbol{W}^{\top}\boldsymbol{W}=\boldsymbol{I},\,\,(\boldsymbol{W} - \eta \boldsymbol{\Phi})^{\top}(\boldsymbol{W} - \eta \boldsymbol{\Phi})=\boldsymbol{I}\end{equation} [...]