arXiv AI· Jinbin Luo, Xiaozhe Yao, Shang Yang, Zhijian Liu, Song Han, Qinghao Hu·· 12 小时前评分56
TideCache: Efficient Hybrid LLM Serving with Transparent Cache Management and Layer-Wise Streaming
摘要
我们提出TideCache,一种基于CPU-GPU超芯片的服务器系统,包含三个组件,用于在缓存之间分配GPU内存并管理其在GPU和主机内存中的驻留。透明缓存池通过固定虚拟地址将物理页分配给缓存组件,保留缓存布局和后端接口。缓存流器利用受限状态层提供的计算间隔,预取下一层全局注意力的前缀到跨全局注意力层共享的GPU槽位中,减少GPU驻留,同时将层间传输与计算重叠。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org