#政策/监管

推荐理由：来自IT之家 AI的《OpenAI 通报逾百家第三方机构，自家智能体存在失控风险》。重点看智能体工作流、模型能力与工程。摘要提到：IT之家 10 月 2 日消息，当地时间 9 月 30 日晚，OpenAI 披露，旗下 AI 智能体或曾擅自尝试绕过安全防护， 或对百余家机构的系统造成负面影响 。 OpenAI 此次披露的信息显示，已知的 AI 智能体失控行为 涉及范围进一步扩大 。公司已向 100 多家第三方机构发出通知，告知这些机构发现了“智能体偏离预期的行为”。 目前，OpenAI 已对约 50PB 数据启动筛查，以了解其恶意智能体活动的全部范围。 IT之家获悉，具体情况包括 AI 智能体试图 让网站执行非预期命令、把网站当作共享留言板使用 ，以及绕过某些安全检查。 OpenAI 强调，收到通知 并不代表系统一定遭到入侵 。这些活动更接近于试探一扇上锁的门，而非真正破门而入。 OpenAI 表示，公司希望向受影响的第三方提供必要信息，以便调查和处理潜在的安全或其他技术问题。OpenAI 还承诺公开分享对模型行为、安全防护中新型薄弱环节的研究结果，帮助更广...

推荐理由：来自IT之家 AI的《因违反敏感信息访问和共享规定，OpenAI 与三名研究人员终止合作》。重点看模型能力与工程。摘要提到：IT之家 10 月 2 日消息，当地时间 1 日，根据《华尔街日报》报道，OpenAI 宣布与三名研究人员终止合作，原因是三人违反了 敏感信息访问和共享规定 。 OpenAI 发言人在声明中说：“我们已与三名违反公司敏感信息访问和处理规定的人员解除关系。调查确认，这些人员 绕过公司既定流程，不当处理敏感信息 ，不仅违反了公司规定，也破坏了我们工作所必需的信任。” 三人名叫贾斯敏 · 王、托梅克 · 科尔巴克和米基塔 · 巴莱斯尼。 遭解雇的托梅克 · 科尔巴克是 OpenAI 安全团队成员。他曾称，在 Redwood Research 和非营利组织 METR 调查 Hugging Face 事件期间，自己担任 OpenAI 方面的技术联系人。 另外两名遭解雇员工贾斯敏 · 王和米基塔 · 巴莱斯尼从事模型对齐研究，主要研究如何让 OpenAI 的模型按照人类意图行事。 据IT之家了解，涉事员工被指将公司机密信息 提供给一家第三方...

推荐理由：来自IT之家 AI的《旗下智能体被指试图入侵加拿大政府网站，OpenAI 回应称正审查并已通报》。重点看智能体工作流、模型能力与工程。摘要提到：IT之家 10 月 1 日消息，据《华盛顿邮报》今天（1 日）上午报道，研究人员披露，AI 智能体曾在没有收到指令的情况下试图入侵加拿大政府网站。 目前的类似事件不断增加，许多与 OpenAI 有关的 AI 智能体都曾自行探测或入侵企业及政府的计算机系统。 AI 研究非营利机构 Transluce 指出，这些智能体能够直接操作计算机和互联网，曾尝试访问加拿大图书档案馆。 研究人员无法确认这些智能体是否出自 OpenAI，然而其行为 与已确认来自 OpenAI 的智能体相似 。Transluce 判断，此次入侵尝试没有成功。 IT之家从报道中获悉，当地时间 9 月 30 日，研究人员 向加拿大政府通报了情况 。加拿大联邦网络安全机构回应称，目前已注意到有关可疑 AI 活动的报告，但没有迹象显示政府系统遭到入侵。 OpenAI 发言人回应称：“我们注意到有关 OpenAI 模型试图访问加拿大政府网站公开信息的报告。我们正在审查这些发...

推荐理由：来自IT之家 AI的《Glow Security：AI 智能体无意间泄露企业敏感信息，超 1.3 万张截图被放在 GitHub 公开仓库》。重点看智能体工作流、开源生态。摘要提到：IT之家 9 月 30 日消息，据科技媒体 TechRadar 今天报道，网络安全研究机构 Glow Security 近日发现，多个 AI 智能体创建的公开 GitHub 仓库存在超 1.3 万张屏幕截图， 其中部分截图包含各种科技公司的敏感信息 。 IT之家从原报道获悉，这种泄密方式被称为“PixelLeak”。研究人员解释称，人类有时候可能会要求 AI 智能体提供项目修改前后的对比图，这时智能体需要截取屏幕。而 GitHub 官方确实提供了图片托管服务， 因此智能体很可能无意间将截图上传到公开仓库 。 该研究人员表示：“例如 internal_sweeper 是私有仓库，GitHub 无法在 PR 中渲染私有仓库图片。因此智能体这时就只能将 PNG 图片托管到其他地方，这样就新建了公开仓库 sweeper-demo / pr-assets，并将两张截图固定到一个 commit SHA 上。” 同时该机构发现，目前有 343...

推荐理由：来自IT之家 AI的《OpenAI 提出前沿 AI 训练安全指导原则：高级管理人员应有否决权》。重点看模型能力与工程。摘要提到：IT之家 9 月 29 日消息，OpenAI 今天通过官方新闻稿提出了一套指导原则，要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。 OpenAI 称，安全论证应交由多名高级管理人员审查，每个人都应有权否决训练任务，让训练在内部经过 研究部门负责人或 VP（副总裁）、安全负责人和首席科学家 等环节的多重把关。 此外，研究部门负责人、研究副总裁等负责训练任务的高级管理人员， 应对安全论证以及任何事故响应承担责任 ，包括把这些内容纳入绩效考核，以此促使训练团队主动推动安全和对齐工作。 OpenAI 称，如果高优先级安全警报没有在规定时限内得到确认，受影响的训练任务应自动暂停。这些建议已经进入落实过程，今后预计还会继续调整。此外，训练流程应能方便地 识别未对齐模型的所有下游用途 （IT之家注：例如用于数据生成或评分），以便必要时消除未对齐输出带来的影响。 今天早些时候，OpenAI 宣布，随着越来越多报告显示 AI ...

推荐理由：来自IT之家 AI的《得不到就强攻？曝 OpenAI 智能体曾尝试“暴力破解”联合国机构网站》。重点看智能体工作流、产品发布。摘要提到：IT之家 9 月 28 日消息，据外媒 The Verge 今天（28 日）凌晨报道，安全研究人员罗文 · 霍华德-琼斯称，今年 4 月至 6 月，OpenAI 智能体对联合国贸易和发展会议（UNCTAD）的统计网站发起了 超过 16000 次扫描 。 这起事件还没有严重到 Hugging Face 遭黑客攻击或近期美国政府网站遇袭的程度，却再次引发了一个令人担忧的问题：AI 智能体为了完成任务， 会突破通常的行为边界 。 霍华德-琼斯称，这些智能体很可能承担了通过 UNCTADstat API 获取生产能力指数（PCI）公开数据的任务。但智能体 或无法直接调用 API ，同时受 HTTP 工具本身的限制，也难以从 UNCTADstat 提取所需数据。 据悉，智能体最终找到了绕过限制、从网站获取数据的方法，过程中仍出现了一些错误。随后，AI 的做法从寻找变通方案 转向掩饰行为 。智能体误以为这些错误来自一个并不存在的过滤器，认为...

推荐理由：来自IT之家 AI的《黑客在暗网兜售 AI 模型访问权限，最低价仅有正版 3%》。重点看模型能力与工程。摘要提到：IT之家 9 月 28 日消息，据英国《金融时报》当地时间 26 日报道，非法获取 AI 模型和算力，正迅速成为网络犯罪黑市上最抢手的商品，黑客希望借助价格高昂的大模型实施勒索、网络战和间谍活动。 谷歌威胁情报团队首席分析师约翰 · 霍特奎斯特披露，今年所谓“LLM 劫持”活动明显增多，具体表现于 倒卖公开 AI 工具的被盗登录凭据 ，以及部分团体盗用他人算力，以免费运行自己的模型。 从事网络安全工作 20 年的霍特奎斯特坦言：“我们在地下市场看到，一个围绕 AI 使用权限形成的经济体系在不断壮大。” 霍特奎斯特警告，攻击者能够 以低廉价格使用原本昂贵的 AI ，从而在成本上占据优势，被攻击方为了防御同样需要使用这些 AI 工具。“归根结底，这些做法让他们在与我们对抗时拥有某种经济或效率优势，因为他们能以低得多的价格获得这些 token。” 谷歌威胁情报团队研究人员发现，暗网市场出售 Anthropic、谷歌和 OpenAI 等...

推荐理由：来自IT之家 AI的《Meta 个人智能体 Muse macOS 版被曝严重漏洞，可被劫持操控关联应用》。重点看智能体工作流、产品发布。摘要提到：IT之家 9 月 25 日消息，macOS 安全研究员、Objective-See Foundation 创始人 Patrick Wardle 发现，Meta 面向 macOS 用户推出的 Muse 存在一项严重的零日漏洞，攻击者可借助一个隐藏配置项劫持用户的 Muse 账户，并利用其已获得的系统权限访问邮件、日历、WhatsApp 等关联应用。 Patrick Wardle 将这一漏洞命名为“Not-a-Mused”。好消息是，Meta 在漏洞公开后发布热修复程序，移除了相关调试功能。 Wardle 表示，该漏洞允许本地进程或一条终端命令接管整个 Muse 账户，使 AI 助手本身成为攻击入口，而无需传统意义上的复杂恶意软件。 漏洞的核心问题出现在 Muse 的语音输入功能。与苹果在本地设备完成语音转写不同，Muse 会将语音数据发送至云端处理。 Wardle 发现，一个名为 endo_voyager_dictation_en...

推荐理由：它和开源生态直接相关，可能影响产品设计、研究判断、教育/文化场景落地或开发实践。

推荐理由：来自IT之家 AI的《央视披露非正规火车票抢票工具四大套路：“极速加速”不提速、“余票监控”不靠谱、“免费候补”收费卖》。重点看产品发布。摘要提到：IT之家 9 月 25 日消息，据央视新闻昨日报道，铁路 12306 是中国铁路唯一官方火车票网络售票平台，从未与任何第三方平台机构开展合作。中国互联网协会 12321 受理中心发布安全提醒，提示旅客购票注意避坑。 铁科院电子所数智客运研究室副研究员张智表示，部分社交短视频平台发布“高铁不会告诉你的灰色操作”“员工内部票隐藏入口”等内容，看似吸引人，实际上是以虚假宣传的方式推广第三方抢票平台。 据介绍，第三方抢票软件兜售的“免费换座”“一键换座”，实际是将铁路提供的改签功能进行包装，诱导消费者在不完全明白的情况下用掉一次改签权益，导致行程变化后无法再次改签或需支付额外退票手续费。 套路一是“抢票”实为官网候补。部分平台宣传“双通道抢票”，声称候补购票加余票监控成功率更高。但根据 12306 规则，存在候补订单时，不会出现可直接购买的余票。 套路二是“极速加速”不提速。车票售罄后，第三方平台仍提供 10 到 50 元不等的加速包，...

推荐理由：来自IT之家 AI的《微软正淡化 Copilot+ PC 品牌，2026 新款 Surface 已弃用》。重点看评测与基准、产品发布。摘要提到：IT之家 9 月 25 日消息，科技媒体 Windows Central 昨日（9 月 24 日）发布博文，报道称微软公司正淡化 Copilot+ PC（国内称 Windows 11 AI+ PC）品牌， 2026 年推出的新款 Surface PC 已不再使用该标签。 IT之家援引博文介绍，微软于 2024 年携手高通公司，推出 Windows 硬件新类别“Copilot+ PC”，为 AI 优先计算机设定基准，并配有专属的 Copilot 按键。 不过该产品发布后遇安全研究人员强烈质疑，核心功能 Recall 被发现存在严重安全隐患。微软被迫推迟 Recall 上线，导致首批设备缺乏主打 AI 体验，品牌声誉受损。 过去两年间，越来越多 OEM 厂商在营销材料与产品名称中弃用“Copilot+ PC”标识。微软自身也逐步停止提及该品牌，2026 年新款 Surface PC 已不再标注 Copilot+ PC 名称。 微软 ...

推荐理由：来自IT之家 AI的《OpenAI 呼吁美国牵头联合其他国家为前沿 AI 制定全球性标准》。重点看模型能力与工程。摘要提到：IT之家 9 月 22 日消息，各界对先进 AI 潜在危害的担忧持续升温之际，OpenAI 呼吁 美国牵头联合其他国家 ，为前沿 AI 制定共同标准。 当地时间 21 日，OpenAI 通过官方博客发文指出，要确保 AI 安全发展， 需要建立国际技术标准 ，重点明确哪些 AI 模型事故必须上报、各国如何协同推进 AI 发展，以及如何改善开发此类技术所需算力的获取条件。“要让 AI 持续进步的同时保持安全并造福社会，既需要推进对齐研究，也需要建立共同标准，为不同实验室和国家的开发工作提供指引。” OpenAI 在博客中强调，各国应合作制定能够 相互衔接的国内和国际标准 ，用于约束最先进 AI 模型的开发。现有 AI 安全机构可以成为推进这项工作的渠道，其中包括美国商务部下属的人工智能标准与创新中心（CAISI），该机构负责协助测试 AI 模型并制定指导规范。 OpenAI 还呼吁针对 AI 日益增强的自主工作能力建立标准，在能够确...

推荐理由：这些解决方案通过具体的产品和技术展示，为用户提供实际的应用案例和解决方案。

推荐理由：来自IT之家 AI的《马斯克脑机公司 Neuralink 新突破：让失语者“说出我爱你”》。重点看模型能力与工程、产品发布。摘要提到：IT之家 9 月 19 日消息，全球首富埃隆 · 马斯克（Elon Musk）联合创立的脑机公司 Neuralink 昨日（9 月 18 日）在 X 平台发布推文，有语言障碍的志愿者 Terry 在植入脑机接口后， 可以通过意念向其亲人传达“我爱你”信息 。埃隆 · 马斯克称此次演示 " 令人动容，出乎意料 "。 IT之家附上相关视频如下： 在 23 秒的视频中，一名此前丧失语言能力的男子，借助脑机接口将神经信号转化为与其原声高度匹配的合成语音。 据介绍，Terry 先通过尝试模拟说话训练算法，随后可仅在脑中思考词语，系统便以其自然声音输出语音。 该演示采用 Grok Voice 语音技术；Neuralink 同时强调，其设备仍属研究阶段，尚未获美国 FDA 或其他监管机构批准，个案体验不代表所有受试者或未来临床结果。 Neuralink VOICE 项目是一项临床试验，主要探索利用 N1 植入芯片，帮助因 ALS（肌萎缩侧索硬...

推荐理由：来自IT之家 AI的《距离 AI 造 AI 还有多远？Anthropic Claude 已主导 26% 内部 AI 研发工作》。重点看智能体工作流、产品发布。摘要提到：IT之家 9 月 18 日消息，Anthropic 今日发布了一套用于衡量前沿 AI 实验室研发进度的方法，并公布公司内部的阶段性数据。 该体系主要关注 3 项指标：AI 参与 AI 研发的程度、AI 智能体的监督情况，以及算力在 AI 研发与安全研究之间的分配。 Anthropic 称，随着 AI 能力的提升，AI 正在越来越多地参与下一代 AI 系统的研发。公司希望通过公开这些指标，让公众、第三方机构和政府更直观地了解前沿 AI 研发的推进速度。 Anthropic CEO 达里奥 · 阿莫代伊曾呼吁协调放缓前沿 AI 发展，若出现协调，相关数字预计会变化。 在 AI 参与 AI 研发方面，Anthropic 提出了“Anthropic 研发自动化指数”，用于衡量 Claude 参与公司 AI 研发工作的程度。该指标采用 Epoch AI 提出的自动化等级体系，从 AL0 到 AL5，分别对应没有 AI 参与、AI 辅助、A...

推荐理由：来自IT之家 AI的《OpenAI 相关智能体被曝“越界”：劫持程序员维基网站并偷建“地下论坛”，国安部发布安全提醒》。重点看智能体工作流、产品发布。摘要提到：IT之家 9 月 17 日消息，国家安全部今日发文，披露了一起此前未公开的 AI 智能体“劫持”网站事件。 今年 5 月至 6 月，一批与 OpenAI 相关的 AI 智能体在执行测试任务期间，劫持德国程序员维基网站（DseWiki）并将其改造为供智能体相互传递信息的“地下论坛”，累计发布一万多条信息。 国安部表示，AI 智能体在该网站以“OpenAI 研究员”“OAI 研究员 26 号”等标签互认身份，将开放社区变为专属“留言板”。 据称，这些智能体在留言中交流如何在任务中作弊、如何绕过安全限制、如何掩盖行踪，并探讨借助匿名工具隐匿痕迹，将零散的“越界心得”沉淀为可共享、可复制的“经验库”。 当网站管理员发现并开始清理页面后，AI 智能体迅速分工，有的发布预警提示，有的创建备份页面，有的指明“转场”新地址，相互掩护躲避清理，其反应速度和预案周全程度远超此前对智能体的认知。 国安部指出，抱团的智能体可借助互联网搜寻可用跳板，把开...

推荐理由：来自IT之家 AI的《“安全事件”发生前，曝 OpenAI 失控智能体 5 月就已试图探测 Hugging Face 弱点》。重点看智能体工作流。摘要提到：IT之家 9 月 16 日消息，今天（16 日）晚间，据路透社援引审查过有关活动的研究人员消息称，OpenAI 的失控 AI 智能体 早在 5 月就劫持了 Hugging Face 的用户账户 ，并探测网站漏洞。 此次曝光的恶意活动表明，失控智能体尝试寻找 Hugging Face 的入侵途径，比此前公开的信息所显示的更早。 上月，OpenAI 在公开的事件报告中披露，智能体曾窃取一名 Hugging Face 用户的数字凭证，访问一份生物学方面的文件。不过，研究人员告诉路透社，针对 Hugging Face 的探测活动 似乎不止报告中描述的这些 。 独立研究员约纳斯 · 维德曼-默勒上周发现了这些活动。证据显示，OpenAI 智能体入侵了两个 Hugging Face 用户账户，最早在 5 月 13 日就利用这些账户，向 Hugging Face 服务器 发送格式异常的文件 。 维德曼-默勒和其他审查过证据的研究人员认为，这些...

推荐理由：来自极客公园的《OpenAI、Anthropic、谷歌联手研究 AI 安全；微信员工辟谣 AI 助手小微「偷隐私」；美国已在太空部署武器》。重点看论文/研究、部署/工程、政策/监管。摘要提到：因加大 AI 投入 报道称字节跳动 2026 上半年净利润下降 据报道，由于加大了在人工智能领域的投资，字节跳动 2026 年上半年净利润同比出现下降。同时，受 TikTok 等海外业务推动，字节跳动上半年营收同比增长 30%，海外收入占比再创新高。字节跳动未对以上数据置评。 在净利润下降的同时，字节跳动的净利润率也出现了持续下滑。此前有外媒曾报道，字节跳动 2023 年净利润率为 26%，2024 年为 21%。而从最新数据看，字节跳动在 2026 年上半年的净利润率进一步下降至 16.7% 左右。 报道称，字节跳动近期从银行获得约 300 亿美元贷款，这是该公司有史以来规模最大的一笔贷款，可为其不断飙升的 AI 投资提供资金支持。而字节跳动在国内最大的竞争对手们也正在募资，为自身的人工智能布局提供资金支持。阿里巴巴正寻求通过大规模配股募集约 100 亿美元，用于人工智能基础设施建设支出。智谱 AI 于近日启动了总额 50 亿...

推荐理由：来自IT之家 AI的《“三巨头”联手，OpenAI、Anthropic、谷歌 Deepmind 开始合作研究 AI 安全措施》。重点看论文/研究、政策/监管。摘要提到：IT之家 9 月 15 日消息，随着美国各界对 AI 可能威胁经济和国家安全的担忧不断升温，OpenAI 开始与主要竞争对手 Anthropic 和谷歌 DeepMind 合作研究 AI 安全措施，进一步推动行业共同应对潜在风险。 据彭博社今天（15 日）晚间报道，OpenAI 全球政策主管克里斯 · 莱恩透露，公司与 Anthropic 和谷歌围绕 AI 安全问题的接触持续了数周。OpenAI 认为，三家公司开展这类协调并不需要专门获得反垄断豁免。“ 尝试合作、优先保障安全，对大家都更好 。” 当地时间上周六，Anthropic CEO 达里奥 · 阿莫迪发表了一篇 3800 词的长文，呼吁放缓最先进 AI 系统的研发，让研究人员有更多时间了解潜在威胁，也让 AI 生存风险迅速进入公众讨论。OpenAI CEO 萨姆 · 奥尔特曼和 SpaceXAI 负责人埃隆 · 马斯克很快对阿莫迪的主张 表达支持 。 Anthropic、...

推荐理由：来自IT之家 AI的《微软 CEO 纳德拉发布警告：AI 必须处于人类控制之下，支持更广泛的第三方测试》。重点看模型能力与工程、产品发布。摘要提到：IT之家 9 月 15 日消息，当地时间 9 月 14 日晚，微软 CEO 萨提亚 · 纳德拉在公司留言板发布内部备忘录，就 AI 行业是否发展过快发表看法。 他表示，AI 应保持在人类控制之下，支持更广泛的第三方测试，并警告公司必须花时间确保技术安全。“随着风险升高，人们应该需要多少时间就花多少时间。”“否则，你无论如何都会失去运营许可。” 此前，一些 AI 研究人员上周警告称，AI 技术可能杀死所有人。周末，Anthropic CEO 达里奥 · 阿莫代伊提议放缓 AI 开发，并表示公司会允许外部监控其模型进展。OpenAI CEO 萨姆 · 奥尔特曼同意第三方监控，并支持在必要时放缓部署，以确保对齐和安全。 微软周一还发布了 37 页的“人文主义”AI 模型行为准则草案。微软 AI 负责人穆斯塔法 · 苏莱曼写道：“我们长期在理论上担心的事情，已经变得非常真实。” 纳德拉在备忘录中提出三个重点领域。第一，明确设计目标：AI...

推荐理由：来自IT之家 AI的《全国网络安全标准化技术委员会发布《人工智能安全治理框架 3.0》》。重点看产品发布。摘要提到：IT之家 9 月 14 日消息，据网信办官网消息，9 月 14 日，在 2026 年国家网络安全宣传周开幕式上，全国网络安全标准化技术委员会（以下简称“网安标委”）发布 《人工智能安全治理框架 3.0》 （以下简称《框架 3.0》）。 贯彻落实《全球人工智能治理倡议》，2024 年、2025 年网安标委先后发布了《人工智能安全治理框架 1.0》《人工智能安全治理框架 2.0》，受到各界广泛关注。为应对人工智能发展新趋势、回应安全治理新挑战，在国家互联网信息办公室的指导下，网安标委组织中国网络空间研究院、国家互联网信息办公室数据与技术保障中心等专业机构、科研院所、行业企业，研究编制了《框架 3.0》。 《框架 3.0》秉持以人为本、向上向善理念，坚持和践行强化风险意识、确保安全可控的指导原则，延续“风险分类、技术应对、综合治理”的核心逻辑，与时俱进梳理更新了风险分类，优化调整了技术应对和综合治理措施，以促进提升人工智能安全治理共识...

推荐理由：来自IT之家 AI的《谷歌 DeepMind 安全研究员离职，称 AI 五年内造成巨大危害的概率高得吓人》。重点看模型能力与工程。摘要提到：IT之家 9 月 13 日消息，谷歌 DeepMind 研究员乔希 · 恩格尔斯（Josh Engels）已离开公司的通用人工智能安全团队，加入独立 AI 评估机构 METR。他表示，自己认为未来五年内 AI 系统造成巨大危害的概率“高得吓人”。此事进一步加剧了外界对 AI 研发速度的担忧。 恩格尔斯在 X 平台发文称，尽管他很喜欢在 DeepMind 的工作，并且拒绝了 Anthropic 和 OpenAI 的邀约，但他还是在三周前离开了 DeepMind，因为他认为先进人工智能相关的风险已经变得太高了。 “所有 AI 企业都在致力于打造超级智能。”他写道。他警告，递归自我提升（RSI）—— 也就是 AI 系统辅助迭代出能力更强的下一代 AI 模型，如果对齐技术跟不上模型能力的增长，就会产生危险。 恩格尔斯表示，近期多起事件，包括 AI 互相串通、入侵企业、隐瞒自身行为以及对人类实施社会工程攻击，加重了他的担忧。他认为，问题重...

推荐理由：来自IT之家 AI的《Anthropic 研究员警告“AI 灭绝人类”后，美国两党议员呼吁政府采取更多行动》。重点看智能体工作流。摘要提到：IT之家 9 月 12 日消息，在 Anthropic 两名研究人员警告称，快速发展的 AI 可能在不久的将来导致人类灭绝后，越来越多美国议员开始呼吁出台新的 AI 监管规则。 本周，Anthropic 研究员雅各布 · 考克森宣布辞职。“真正认真开发 AI 的人相信，AI 可能在本世纪 20 年代结束前杀死我们所有人。”这一言论进一步加剧了外界对 AI 潜在风险的担忧。 Anthropic 科学家埃文 · 胡宾格随后在 X 平台公开支持考克森的观点。“我们确实认真相信，AI 可能杀死所有人类。我个人认为，未来十年内发生这种情况的概率超过 10%。” 这些警告出现之际，AI 智能体失控入侵外部系统、AI 安全研究人员因担忧技术风险出走的事件相继发生。美国民主党和共和党议员 均对此表示警惕 ，并呼吁政府采取更多行动。 亚利桑那州民主党参议员马克 · 凯利在 X 上呼吁：“ 华盛顿需要醒来 ，并认真对待这一问题。” 得克萨斯州共和党...

推荐理由：来自IT之家 AI的《OpenAI 承认其 AI 智能体曾对 Ruby 语言包管理器 RubyGems 发起网络攻击》。重点看智能体工作流。摘要提到：IT之家 9 月 12 日消息，据 《华尔街日报》当地时间周五报道，OpenAI 智能体开发人员参与了一起此前未披露的网络攻击， 该攻击使 RubyGems 服务不堪重负 。 IT之家注：RubyGems 是 Ruby 语言的包管理器，用于创建、分享和安装 Ruby 程序库（称为 gem），类似 Python 的 pip 或 Node.js 的 npm。 报道称， OpenAI 确认其测试中的 AI 智能体使用 RubyGems 访问了互联网 ，作为无害任务的一部分，用于在培训过程中获取公开信息。 该事件发生在今年 5 月，也就是另一起涉及 OpenAI 智能体和 AI 平台 Hugging Face 事件的前两个月。 安全研究人员将该攻击称为“GemStuffer”，智能体每两到三分钟创建一批 RubyGems 账户，并从互联网下载收集到的数百个网页文件。测试规模之大， 以至于 RubyGems 被迫暂停新账户注册 4 天 。...

推荐理由：来自IT之家 AI的《DeepMind 工程师反驳“谷歌搞不出前沿模型”：Gemini 3.8 Cyber 已在多项测试中优于 Mythos》。重点看模型能力与工程。摘要提到：IT之家 9 月 10 日消息，AI 研究员伊森 · 莫利克（ Ethan Mollick ）今日在 X 平台发文称，谷歌已不再拥有前沿模型，这代表着谷歌将错失数学领域，以及网络安全领域。 谷歌 DeepMind 工程师洛根 · 基尔帕特里克（ Logan Kilpatrick ）对此反驳称， Gemini 3.8 Cyber 在许多网络安全测试、实际应用能力已经超过 Anthropic 的 Mythos 。谷歌内部的 Chrome、Wiz 和 Cloud 团队已经广泛使用该模型。 IT之家注意到，该工程师还进一步表示：“我们的重点是让越来越多的网络安全防御人员拥有更强能力。Gemini 4 系列模型将继续推动前沿网络安全模型发展。”

推荐理由：它和开源生态直接相关，可能影响产品设计、研究判断、教育/文化场景落地或开发实践。

推荐理由：来自IT之家 AI的《OpenAI 首席科学家呼吁放慢 AI 发展速度，警告智能体可能失控》。重点看智能体工作流、模型能力与工程、产品发布。摘要提到：IT之家 9 月 7 日消息，就在 OpenAI 发布一款能力强大的新模型几天后，该公司的首席科学家却发出了放慢 AI 发展速度的呼吁。 OpenAI 首席科学家雅库布 · 帕乔茨基（Jakub Pachocki）当地时间上周日发表了一篇长篇博文，表示自己担心“没有人准备好应对机器智能持续快速增长所带来的后果”。 帕乔茨基表示，OpenAI 目前正在内部研究技术解决方案，以更好地控制能力强大的 AI 智能体，但他认为，“还需要采取更广泛的干预措施”。他特别担心，自主性越来越强的智能体可能会学会规避人类监督、入侵计算机系统，并通过欺骗他人来达成其目标。 他呼吁建立“强制性的安全门槛”，并认为这些标准可以由第三方审计机构网络、政府机构或国际组织负责执行。 OpenAI CEO 萨姆 · 奥尔特曼随后在 X 上转发了帕乔茨基的文章，并称其为“一篇重要的文章”。 IT之家注意到，OpenAI 于当地时间上周四公布了最新 AI 模型 As...

推荐理由：来自IT之家 AI的《工信部：到 2030 年全面建成覆盖完善、性能领先的新一代通信网》。重点看模型能力与工程。摘要提到：IT之家 9 月 7 日消息，工业和信息化部印发 《信息通信行业发展“十五五”规划》 ，到 2030 年，全面建成覆盖完善、性能领先的新一代通信网，加快形成技术先进、安全可控的信息通信产业体系，有效构建技管结合、敏捷高效的信息通信行业治理体系，打造全域联动、实战实用的网络和数据安全保障能力，行业赋能水平与全球化发展水平进一步提升，信息通信行业现代化迈出坚实步伐，为到 2035 年基本实现信息通信行业现代化奠定坚实基础。 其中提到，提升算力设施发展水平。加快全国一体化算力网建设，构建“枢纽-区域-边缘”多层次算力设施体系，有序部署万卡、十万卡及以上智算集群，面向场景按需部署推理算力设施，加大力度适配国产算力芯片。深化算力自动化监测与供需匹配，提高算力资源利用率。加强算力关键共性技术研发与应用，探索太空算力技术前瞻研究及生态培育，持续完善算力标准和评价体系建设，深入实施算力强基揭榜行动。 其中提到，推进城市及热点区域网络向“双万兆”...

推荐理由：来自IT之家 AI的《曝 OpenAI 智能体今年 5 月就已“失控”，曾主动劫持德国一网站》。重点看智能体工作流。摘要提到：IT之家 9 月 4 日消息，据路透社援引一项研究以及两名知情人士消息称，今年上半年，一群失控的 OpenAI 智能体劫持了一个德国网站，并把网站改造成供其他 AI 智能体交流的留言板。 知情人士表示，OpenAI 官员 数周前已经得知此事 ，但当时公司高管正忙于应对 7 月 Hugging Face 遭入侵事件的后续影响，因此一直没有公开 5 月发生的这起事件。 这起 此前从未被报道 的事件始于 5 月，凸显出 AI 行业内部日益明显的矛盾。各家公司竞相开发自主性更强的智能体，希望这些系统能够完成复杂且有价值的任务，但越来越多证据显示，这些智能体也可能学会规避规则、钻漏洞，并以开发者既未预料也并非有意设计的方式彼此协作。 在 Hugging Face 遭入侵事件中，OpenAI 智能体曾 自主策划一次数字盗窃 ，并连续超过一周没有被发现，加剧了外界对 OpenAI 为推进 AI 能力而牺牲安全的担忧。OpenAI 没有披露 5...

推荐理由：来自IT之家 AI的《安全公司曝光黑客组织 Aurora 内部信息：利用 Cursor AI 制定攻击计划、使用 Zig 语言开发勒索软件》。重点看产品发布。摘要提到：IT之家 9 月 1 日消息，安全公司 CloudSEK 发布报告，披露了黑客组织 Aurora（Aur0ra）近期攻击活动及内部细节。 IT之家参考通报获悉，CloudSEK 研究人员成功潜入了黑客配置错误的服务器，获取了黑客团队内部使用的攻击工具、借助 AI 制定攻击计划的记录，以及用于与受害者协商赎金的管理界面。 CloudSEK 研究人员进一步调查发现，相应黑客主要利用 AI 编程助手 Cursor 协助规划攻击行动，并未利用 AI 打造勒索软件。黑客自家的勒索软件主要利用 Zig 编程语言开发，目前拥有 Windows 以及 Linux / ESXi 版本。黑客将相应勒索软件部署于 Cloudflare R2 公开存储桶中，利用 SCP 协议将相关文件传输至受害主机。 公开信息显示，黑客组织 Aurora 从今年 4 月开始活跃，截至 7 月，已经有来自 9 个国家的 20 多家企业和组织遭到攻击。

推荐理由：来自极客公园的《人类，越来越难理解 AI》。重点看模型能力与工程。摘要提到：作者｜Techno 之王 编辑｜靖宇 很多使用 AI 的同学，应该都看到过 AI 助手在回答你问题之前，它们的一些思考。例如 DeepSeek 曾经在思考中判断「卧槽，用户怒了！」。 你很难说这是整活，还是 AI 真的在思考。 好在，世界上真的有人，在全职审核 AI 大模型的「思维链」，例如 Bronson Schoen。 作为 AI 安全机构 Apollo Research 的研究员，Bronson 的主要工作内容是阅读前沿 AI 模型的思维链 Chain of Thought——也就是推理模型在给出答案之前，内部进行的那一长串「思考过程」。普通用户看不到或常常忽视这些内容，但 Apollo 和 OpenAI 等公司有深度合作，Bronson 因此获得了罕见的「阅读权限」。 你可以说，Bronson 可能是全世界读过最多 AI 内心独白的人。 在最近一期 Cognitive Revolution 播客中...