arXiv AI· Jianjun Ou, Matthew Lentz·· 3 天前评分40
Callo: Serving Cache-Miss Requests with Speculative Decoding on Invalidated KV under Prefill-Decode Disaggregation
摘要
我们提出Callo,一种分片服务系统,利用无效的KV用于推测草稿以降低延迟,预填充后对草稿进行精确KV验证后再提交令牌。Callo通过在低利用率时段调度推测并提前阻止草稿可能不被接受时的推测,有效利用解码资源。我们在使用SWE-agent会话的三个模型家族上对Callo进行了评估,观察到在中等负载下,所有请求速度提升为1.05-1.19倍于vLLM。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org