跳到正文
arXiv AI· Alagappan Valliappan, Ankit More, Dheevatsa Mudigere, Jatin Mitra·· 1 天前评分56

NarrowSpec: Draft Hidden Width Need Not Match the Target in Speculative Decoding

摘要

推测解码广泛用于加速大语言模型(LLMs)的生成,通过小草模型提出待生成的token,由目标模型的一次前向传递验证。读取目标模型隐藏状态的草模型,如DFlash和EAGLE-3,通常继承目标模型的隐藏宽度。我们表明,草模型的整个残差流可以在宽度的一半或四分之一时运行,同时保持大部分接受度。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org