arXiv AI· Hanyang Li, Shao Tang, Daniel Thomas Braithwaite, Gregory Dexter, Leonardo Neves, Aman Gupta, Hiroto Udagawa, Abhishek Shivanna, Daniel Silva, Rohan Ramanath·· 10 小时前评分51
Rounding in Preconditioner Space: Redesigning 4-bit AdamW Optimizer-State Quantization
摘要
量化AdamW优化器状态可减少持久存储，但量化误差会通过时间递归传播，并影响后续自适应更新。我们从四舍五入空间的角度重新设计4位优化器状态量化方法：量化器在相邻重建级别之间选择的坐标。对于第二阶矩，邻近零的量化单元局部分析显示，小均值状态误差并不必然导致下一步的均值预条件误差较小。
推荐理由
请对照arXiv AI原文，核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：arXiv AI · arxiv.org