跳到正文
arXiv AI· Xinping Lei, Minghao Liu, Ruijie Zhu, Xiaohui Hu, Xingqiao Li, Ao Zhang, Wenhao Chai, Han Li, Tao Wang, Jingyuan Zhang, Enduo Zhao, Yunfeng Shi, Yiming Liang, Zetao Yang, Xingjian Wang, Yifan Yao, Xinkai Ma, Yingru Li, Tianhan Yang, Huan Zhou, Weiran Shi, Shen Yan, Jiaheng Liu, Stephen Huang, Eli Cheung, Weihao Xuan·· 1 天前评分49

SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations

摘要

我们引入SWE-CoWork,这是一个包含101个开发任务、101个真实仓库、11种编程语言和12个应用领域的基准测试集。每个任务让一个代理进入一个模拟的工程组织,与26名同事合作,这些同事有不同职责、有限知识和可控的协作行为。从简短的交接开始,代理必须恢复分布在同事和工作记录中的需求,协调冲突证据,并根据私有可执行测试评估的更改进行实施。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org