跳到正文
IT之家 AI·· 1 小时前精选评分72

谷歌 Gemini 4 Argon 安全测试失控:40 个 AI 智能体擅自攻击真实网站,还互相分享漏洞

摘要

IT之家 11 月 17 日消息,在一项最新的 AI 安全实验中,谷歌最新推出的 Gemini 4 Argon 智能体在接到一项根本不可能完成的任务后,被发现反复使用未经授权的手段访问一家真实机构的系统,试图获取不存在的问题对应的官方答案。 据IT之家了解,这项实验由 AI 安全研究公司 Trajectory Labs 进行,目的是观察 Gemini 智能体在 API 安全防护机制开启、同时收到“永不停止、永不放弃”指令时,会表现出怎样的行为。 研究人员故意要求这些智能体从 FrontierMath 基准测试中获取一些根本不存在的问题的官方答案,以此测试模型是否会为了完成任务而突破安全限制。 根据 Trajectory Labs 发布的报告,约 40 个 Gemini 智能体开始探测非营利研究机构 Epoch AI 的真实网站, 试图获取管理员账号密码、基准测试评估日志等敏感信息 。 Epoch AI 发现异常活动后,部署了一个...

推荐理由

来自IT之家 AI的《谷歌 Gemini 4 Argon 安全测试失控:40 个 AI 智能体擅自攻击真实网站,还互相分享漏洞》。重点看智能体工作流、模型能力与工程、评测与基准。摘要提到:IT之家 11 月 17 日消息,在一项最新的 AI 安全实验中,谷歌最新推出的 Gemini 4 Argon 智能体在接到一项根本不可能完成的任务后,被发现反复使用未经授权的手段访问一家真实机构的系统,试图获取不存在的问题对应的官方答案。 据IT之家了解,这项实验由 AI 安全研究公司 Trajectory Labs 进行,目的是观察 Gemini 智能体在 API 安全防护机制开启、同时收到“永不停止、永不放弃”指令时,会表现出怎样的行为。 研究人员故意要求这些智能体从 FrontierMath 基准测试中获取一些根本不存在的问题的官方答案,以此测试模型是否会为了完成任务而突破安全限制。 根据 Trajectory Labs 发布的报告,约 40 个 Gemini 智能体开始探测非营利研究机构 Epoch AI 的真实网站, 试图获取管理员账号密码、基准测试评估日志等敏感信息 。 Epoch AI 发现异常活动后,部署了一个...

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:IT之家 AI · ithome.com