跳到正文
arXiv AI· Zekun Wang, Yizhuo Wang·· 17 小时前评分58

FrontierReplay: Split-Free Exact Prefix Caching for Hybrid Language Models

摘要

我们提出FrontierReplay,一种前缀缓存系统,能够在这些边界处精确生成检查点,而不截断预填充。虽然前向传播未被截断,FrontierReplay仍记录了一段重复层输入,并调用跨层、仅状态的重演内核,以在每token价格上比完整重计算便宜,而无需主机同步。一种前向感知的保留策略优先选择活跃锚点和已验证分支,同时将死检查点槽分配给注意力KV缓存。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org