arXiv AI· Alagappan Valliappan, Ankit More, Dheevatsa Mudigere, Jatin Mitra·· 1 天前评分56
NarrowSpec: Draft Hidden Width Need Not Match the Target in Speculative Decoding
摘要
推测解码广泛用于加速大语言模型(LLMs)的生成,通过小草模型提出待生成的token,由目标模型的一次前向传递验证。读取目标模型隐藏状态的草模型,如DFlash和EAGLE-3,通常继承目标模型的隐藏宽度。我们表明,草模型的整个残差流可以在宽度的一半或四分之一时运行,同时保持大部分接受度。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org