OpenAI 自曝模型失控险情:最强 AI 曾突破网络封锁,紧急停训 11 天
IT之家 11 月 19 日消息,OpenAI 今天(11 月 18 日)发布题为《管理前沿 AI 风险:从训练到部署》的安全政策说明, 首次系统披露研发、内部使用到公开发布阶段,如何在高能力模型的全生命周期中管控风险。 IT之家援引博文介绍,OpenAI 称由于前沿模型的能力正快速增强,因此理解、对齐和保障模型的能力必须“始终领先一步”。公司维持引入“安全案例”流程,要求在训练全程提供更有力的行为对齐证据;这些措施虽会拖慢发布节奏,但会增强安全推进的信心。 OpenAI 强调其保护措施围绕四层展开: 模型对齐:对齐就是让 AI 系统能够可靠地按照我们预期的方式行动。模型必须在尊重政策和更广泛的社会利益的前提下,解读用户的需求。 安全和沙盒:这些控件限制模型能够访问或影响的文件、工具、网络及其他资源。它们有助于遏制培训和评估过程中错误或行为不一致所带来的后果。 保障阻止措施:这些都是额外的防护措施,用于评估用户请求并建模阻止潜在...
来自IT之家 AI的《OpenAI 自曝模型失控险情:最强 AI 曾突破网络封锁,紧急停训 11 天》。重点看模型能力与工程、产品发布。摘要提到:IT之家 11 月 19 日消息,OpenAI 今天(11 月 18 日)发布题为《管理前沿 AI 风险:从训练到部署》的安全政策说明, 首次系统披露研发、内部使用到公开发布阶段,如何在高能力模型的全生命周期中管控风险。 IT之家援引博文介绍,OpenAI 称由于前沿模型的能力正快速增强,因此理解、对齐和保障模型的能力必须“始终领先一步”。公司维持引入“安全案例”流程,要求在训练全程提供更有力的行为对齐证据;这些措施虽会拖慢发布节奏,但会增强安全推进的信心。 OpenAI 强调其保护措施围绕四层展开: 模型对齐:对齐就是让 AI 系统能够可靠地按照我们预期的方式行动。模型必须在尊重政策和更广泛的社会利益的前提下,解读用户的需求。 安全和沙盒:这些控件限制模型能够访问或影响的文件、工具、网络及其他资源。它们有助于遏制培训和评估过程中错误或行为不一致所带来的后果。 保障阻止措施:这些都是额外的防护措施,用于评估用户请求并建模阻止潜在...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:IT之家 AI · ithome.com