跳到正文
arXiv AI· Cong Xu, Ravi Sankar·· 3 天前评分38

The State Is Not the Bottleneck: A Paged-State Gated-DeltaNet Tile on a Tri-Mode Multicast Mesh, Bit-Exact from RTL to Silicon

摘要

线性注意力语言模型用固定大小的递归状态替代增长的键值缓存。在边缘FPGA上,此状态可能超出芯片内存,需页到外部内存。本文询问此类页入是否主导解码(生成令牌)的成本。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org