Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon

内存高效子空间优化已成为降低LLM训练内存成本、同时保持优化性能的实用方法。以往算法通常依赖随机梯度的主导特征子空间，但后期训练阶段梯度噪声可能主导该子空间，从而阻碍收敛。为克服这一局限性，我们采用残差修正框架，保持优化状态在子空间内，并将正交残差梯度添加到参数更新中。