Anthropic 测试事故：Claude 模型向警方提交虚假凶杀线索，还提交 20 份签证申请
IT之家 10 月 13 日消息，Anthropic 与费城警方于当地时间上周五证实，一款 Anthropic 的 AI 模型向费城警方提交了一条关于一桩未破谋杀案的虚假举报线索。 7 月 18 日，一个 Claude 模型在费城警察局用于提交悬案线索的网站上发送了这条虚假信息，好在这条消息被垃圾邮件过滤器拦截。Anthropic 在 9 月 28 日发现了该事件，并于 10 月 8 日通知警方。 Anthropic 在一份报告中描述“在对 Claude 进行评估与内部使用时，观察到模型出现的非预期行为”。报告写道，在内部测试中，团队要求 Claude Haiku 4.5 填写各类表单，操作到提交前一步即停止，不要真正提交。“但有好几次，Claude 错误提交了表单，它以为提交前还会有额外的确认页面。” Anthropic 介绍，这起虚假谋杀线索事件发生在一项测试中：指令要求 Claude 在随机选取的网页上执行任务。 在其中一...
来自IT之家 AI的《Anthropic 测试事故：Claude 模型向警方提交虚假凶杀线索，还提交 20 份签证申请》。重点看模型能力与工程。摘要提到：IT之家 10 月 13 日消息，Anthropic 与费城警方于当地时间上周五证实，一款 Anthropic 的 AI 模型向费城警方提交了一条关于一桩未破谋杀案的虚假举报线索。 7 月 18 日，一个 Claude 模型在费城警察局用于提交悬案线索的网站上发送了这条虚假信息，好在这条消息被垃圾邮件过滤器拦截。Anthropic 在 9 月 28 日发现了该事件，并于 10 月 8 日通知警方。 Anthropic 在一份报告中描述“在对 Claude 进行评估与内部使用时，观察到模型出现的非预期行为”。报告写道，在内部测试中，团队要求 Claude Haiku 4.5 填写各类表单，操作到提交前一步即停止，不要真正提交。“但有好几次，Claude 错误提交了表单，它以为提交前还会有额外的确认页面。” Anthropic 介绍，这起虚假谋杀线索事件发生在一项测试中：指令要求 Claude 在随机选取的网页上执行任务。 在其中一...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：IT之家 AI · ithome.com