Reducing Batch Makespan for LLM Agent Workloads through Inference-Environment Coordination

由于这些任务交替进行LLM推理和环境交互，我们提出协调优化，以减少批次完成时间，即完成所有任务所需的时间。对于混合LLM，基于工作负载的资源模型指导GPU内存分配，平衡键值（KV）缓存和循环状态，并提供参考样本并发度，以利用并行性同时限制重计算。轨迹感知路由与调度促进缓存复用，同时平衡工作者负载。