arXiv AI· Samet Demir, Zafer Dogan·· 18 小时前评分56
Decomposing SGD Dynamics in Neural Networks: Teacher-Induced Spikes and Variance Inflation
摘要
为隔离此效应,我们引入分解动力学,这是一种可解析的替代模型,其渐近测试误差动力学与SGD一致。在使用ReLU学生进行模拟时,冻结正交补空间的方向可使泛化能力优于训练它们。最终,我们表明信号成分迅速与第二层权重对齐,揭示了即使在浅层设置中也存在强跨层耦合。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org