Eigenvalues of the Hessian in Deep Learning: The Origin of Symmetry and Its Breaking

深度学习训练模型的赫米特谱呈现出持续模式：特征值组织成明显簇，包括一个接近零的大块和几个孤立的异常值。本文表明，当原设定被理解为偏离一个附近但隐藏的高对称参考时，这些谱现象的自然解释出现。修改包括架构、数据分布或参数指标的变化，会暴露一个邻近参考配置，其赫米特谱具有丰富的不变性——这些不变性未由权重对称所解释。