arXiv AI· Chaoqian Ouyang, Ling Yue, Libin Zheng, Huanghui Guo, Shengxiang Xu, YiShu Wang, Ran Li, Jian Yin, Shaowu Pan, Shimin Di·· 8 天前评分58
TokenCast: Forecasting Token Consumption During LLM Agent Execution
摘要
本文提出TokenCast，学习每个执行段的可组合成本表示，记录自身消耗及引入的上下文增长。组合相邻段落可获得累计估计，捕捉早期段落上下文重新读取带来的额外输入成本。执行展开时，新观测证据刷新预测，无需额外LLM调用，处理时间平均为32.8 ms/次于SWE-bench Verified。
推荐理由
请对照arXiv AI原文，核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：arXiv AI · arxiv.org