跳到正文
arXiv AI· Rui Ning, Om Chabra, Hari Balakrishnan·· 15 小时前评分63

Spool: Low-Latency Streaming Inference for Hybrid Vision-Language Models

摘要

我们提出Spool,一个无需训练的框架,它缓存每帧状态转换,并随着窗口推进高效组合这些转换,无需通过主干网络重新播放帧。在每层中,删除是精确的;与注意力中的键值淘汰机制类似,过期帧可通过早期层计算出的缓存输入保留残余影响。我们设计专用的数据结构和GPU内核,以实现低缓存和组合开销。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org