arXiv AI· Zekun Wang, Yizhuo Wang·· 17 小时前评分58
FrontierReplay: Split-Free Exact Prefix Caching for Hybrid Language Models
摘要
我们提出FrontierReplay,一种前缀缓存系统,能够在这些边界处精确生成检查点,而不截断预填充。虽然前向传播未被截断,FrontierReplay仍记录了一段重复层输入,并调用跨层、仅状态的重演内核,以在每token价格上比完整重计算便宜,而无需主机同步。一种前向感知的保留策略优先选择活跃锚点和已验证分支,同时将死检查点槽分配给注意力KV缓存。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org