只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍
IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。 在一项 SWE-bench Lite 测试中,采用模块化优化方案的智能体任务成功率从 5.0% 提升至 40.0%,达到原来的 8 倍,平均每项任务消耗约 4.67 万 Token。 其研究重点是 AI 智能体的 Harness。它并非底层 AI 模型本身,而是围绕模型构建的运行框架,负责管理上下文和记忆、控制多轮任务执行、调用外部工具,以及在任务结束前验证执行结果。 研究人员指出,不同模型在工具使用方式和任务执行过程中表现出的弱点可能存在明显差异。因此,为某个模型优化的 Harness,迁移到其他模型后可能出现任务停滞、Tok...
来自IT之家 AI的《只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍》。重点看智能体工作流、模型能力与工程。摘要提到:IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。 在一项 SWE-bench Lite 测试中,采用模块化优化方案的智能体任务成功率从 5.0% 提升至 40.0%,达到原来的 8 倍,平均每项任务消耗约 4.67 万 Token。 其研究重点是 AI 智能体的 Harness。它并非底层 AI 模型本身,而是围绕模型构建的运行框架,负责管理上下文和记忆、控制多轮任务执行、调用外部工具,以及在任务结束前验证执行结果。 研究人员指出,不同模型在工具使用方式和任务执行过程中表现出的弱点可能存在明显差异。因此,为某个模型优化的 Harness,迁移到其他模型后可能出现任务停滞、Tok...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:IT之家 AI · ithome.com