跳到正文
arXiv AI· Samet Demir, Zafer Dogan·· 18 小时前评分56

Decomposing SGD Dynamics in Neural Networks: Teacher-Induced Spikes and Variance Inflation

摘要

为隔离此效应,我们引入分解动力学,这是一种可解析的替代模型,其渐近测试误差动力学与SGD一致。在使用ReLU学生进行模拟时,冻结正交补空间的方向可使泛化能力优于训练它们。最终,我们表明信号成分迅速与第二层权重对齐,揭示了即使在浅层设置中也存在强跨层耦合。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org