跳到正文
arXiv AI· Benjamin Novotny, Doug Szeto, Chang Wang, Shicheng Chen, George Zhihua Yuan, Bob Kamma, Michael Ge, John Xin Zhou, Andrea Olgiati·· 18 小时前评分54

Cap-and-Track: Optimizing LLM Inference Request Dispatch Across Shifting Capacity

摘要

我们提出Cap-and-Track,一种跨供应商容量和内部GPU的异步推理设计。Meta的流量路由器实现Cap-and-Track用于后端视频理解。拒绝信号表示后端当前的准入上限。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org