arXiv AI· Rui Ning, Om Chabra, Hari Balakrishnan·· 15 小时前评分63
Spool: Low-Latency Streaming Inference for Hybrid Vision-Language Models
摘要
我们提出Spool,一个无需训练的框架,它缓存每帧状态转换,并随着窗口推进高效组合这些转换,无需通过主干网络重新播放帧。在每层中,删除是精确的;与注意力中的键值淘汰机制类似,过期帧可通过早期层计算出的缓存输入保留残余影响。我们设计专用的数据结构和GPU内核,以实现低缓存和组合开销。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org