跳到正文
arXiv AI· Md Rifat Arefin, Ravid Shwartz-Ziv, Ernie Chang, Chinnadhurai Sankar, Rylan Conway, Aristide Baratin, Irina Rish, Adithya Sagar, Patrick Huber·· 3 天前评分42

Delayed Effects of Temporary Weight Decay in Muon Pretraining

摘要

临时优化干预在训练结束时可能增加验证损失,但在最终训练预算结束时可能减少损失。我们通过在Muon训练的解码器-only Transformer中使用临时权重衰减,展示了这一现象。对于不超过1.4B参数的模型,将固定时长的衰减窗口从早期训练移到晚期训练可逆转其最终效果。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org