告别知识截止日：谷歌让 AI 学会“睡觉”，边用边学还不忘旧知识
IT之家 10 月 30 日消息，谷歌研究团队于 10 月 27 日发布博文， 介绍一项名为“睡眠框架”（Sleep Framework）的持续学习研究成果，试图解决大语言模型发布后知识固化、难以吸收新信息的难题。 该研究已于 10 月 27 日由 Google Research 公开，相关论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。 谷歌指出在通常情况下，当前主流大模型在完成预训练后便进入相对静态的部署状态，其知识存在“截止日期”；若依赖上下文学习，新信息又会随会话结束而丢失。若直接用新数据反复微调，则容易引发“灾难性遗忘”，而模型学会新知识后，原有能力显著下降。 谷歌的方案借鉴人类睡眠中的记忆巩固机制，将模型运行划分为“清醒阶段”和“睡眠阶段”。清醒时，模型接收并处理输入，将信息暂存于短期记忆；进入睡眠阶...
来自IT之家 AI的《告别知识截止日：谷歌让 AI 学会“睡觉”，边用边学还不忘旧知识》。重点看模型能力与工程、产品发布。摘要提到：IT之家 10 月 30 日消息，谷歌研究团队于 10 月 27 日发布博文， 介绍一项名为“睡眠框架”（Sleep Framework）的持续学习研究成果，试图解决大语言模型发布后知识固化、难以吸收新信息的难题。 该研究已于 10 月 27 日由 Google Research 公开，相关论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。 谷歌指出在通常情况下，当前主流大模型在完成预训练后便进入相对静态的部署状态，其知识存在“截止日期”；若依赖上下文学习，新信息又会随会话结束而丢失。若直接用新数据反复微调，则容易引发“灾难性遗忘”，而模型学会新知识后，原有能力显著下降。 谷歌的方案借鉴人类睡眠中的记忆巩固机制，将模型运行划分为“清醒阶段”和“睡眠阶段”。清醒时，模型接收并处理输入，将信息暂存于短期记忆；进入睡眠阶...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：IT之家 AI · ithome.com