arXiv AI· Cong Xu, Ravi Sankar·· 3 天前评分38
The State Is Not the Bottleneck: A Paged-State Gated-DeltaNet Tile on a Tri-Mode Multicast Mesh, Bit-Exact from RTL to Silicon
摘要
线性注意力语言模型用固定大小的递归状态替代增长的键值缓存。在边缘FPGA上,此状态可能超出芯片内存,需页到外部内存。本文询问此类页入是否主导解码(生成令牌)的成本。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org