跳到正文
IT之家 AI·· 17 小时前评分72

OpenAI 公布反蒸馏防护进展:GPT-6.2 Astra 思考链提取成功率从 54% 降至 0.2%

摘要

IT之家 11 月 21 日消息,当地时间 11 月 20 日,OpenAI 发布公告介绍了针对「对抗性蒸馏」(Adversarial Distillation)的防御措施。 OpenAI 称其已加强 GPT-6.2 Astra 和 GPT-6.2 Sol 对内部推理思考链(Chain-of-Thought)的保护,以降低其他模型通过提取推理过程获取其能力的风险。 OpenAI 表示,对抗性蒸馏是指未经授权地利用前沿 AI 模型的输出训练其他模型,使后者获得相似能力,却不具备原模型相应的安全防护。该行为可能导致网络安全、生物学等领域的高风险能力被转移到安全限制较弱的模型中。 在内部自适应黑盒红队测试中,OpenAI 测试了攻击者提取模型此前请求和当前请求中受保护推理内容的成功率。 结果显示,针对此前请求推理内容的提取成功率,从 GPT-6 Astra 原有安全机制下的 54.0%,降至 GPT-6.2 Astra 更新安全机制后...

推荐理由

来自IT之家 AI的《OpenAI 公布反蒸馏防护进展:GPT-6.2 Astra 思考链提取成功率从 54% 降至 0.2%》。重点看模型能力与工程、产品发布。摘要提到:IT之家 11 月 21 日消息,当地时间 11 月 20 日,OpenAI 发布公告介绍了针对「对抗性蒸馏」(Adversarial Distillation)的防御措施。 OpenAI 称其已加强 GPT-6.2 Astra 和 GPT-6.2 Sol 对内部推理思考链(Chain-of-Thought)的保护,以降低其他模型通过提取推理过程获取其能力的风险。 OpenAI 表示,对抗性蒸馏是指未经授权地利用前沿 AI 模型的输出训练其他模型,使后者获得相似能力,却不具备原模型相应的安全防护。该行为可能导致网络安全、生物学等领域的高风险能力被转移到安全限制较弱的模型中。 在内部自适应黑盒红队测试中,OpenAI 测试了攻击者提取模型此前请求和当前请求中受保护推理内容的成功率。 结果显示,针对此前请求推理内容的提取成功率,从 GPT-6 Astra 原有安全机制下的 54.0%,降至 GPT-6.2 Astra 更新安全机制后...

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:IT之家 AI · ithome.com