Decentralized SGD under Heavy-Tailed Noise: Optimal Convergence Rates and the Role of Gradient Clipping

重尾噪声在现代机器学习中广泛观察到，促使使用如梯度截断和归一化等方法。尽管这些方法在集中式环境中已广泛理解，但在分布式环境中知之甚少，其中对局部梯度施加非线性影响，同时影响优化与共识。最近的研究在分布式非凸优化中探讨了重尾噪声下的截断和归一化，截断导致亚最优速率，归一化需要本地动量或小批量数据才能收敛。