星知

logo
logo
登录

AI 学会"睡觉":谷歌想治好大模型边学边忘的老毛病

谷歌提出“睡眠框架”,让大模型清醒时接收信息、睡眠时巩固记忆,通过参数扩展、混合专家记忆块与知识蒸馏把短期上下文写入长期参数,并借“做梦”生成合成样本进行强化学习,缓解灾难性遗忘。实验显示可处理约1000万 token 上下文,在多项任务上几乎零遗忘。
发布时间:2026/11/02 03:01|分类:人工智能
大模型出厂即“定型”,新知识喂进去,要么随对话散场丢失,要么硬塞后忘记旧本事。谷歌于10月27日提出“睡眠框架”(Sleep Framework),相关论文题为《Language Models Need Sleep》,由 Google Research 公开发布,目标是解决“知识截止日”顽疾。 该框架将模型运行分为清醒与睡眠两段。清醒阶段照常接收输入,信息先放入短期记忆;睡眠阶段暂停接活,专注记忆整合与自我改进。记忆巩固借助参数扩展、混合专家记忆块与知识蒸馏,将易碎的短期上下文写入长期参数,同时不覆盖既有知识。框架还设“做梦”环节,让模型自己生成并筛选合成训练样本,通过强化学习反复练习,提升推理与泛化能力。相比传统反复微调引发的“灾难性遗忘”,睡眠式整合相当于为模型加装防丢闸门。 实验显示,该框架在持续翻译、长上下文理解、事实吸收和数学推理上超过多数基线,可消化最长约1000万 token 的上下文;在未见语言的多阶段持续学习中,性能几乎零下降;AIME 24/25 等数学基准准确率也更高。若落地,意味着模型不必发布即过时,而是边用边长本事,对医疗、金融、法务等需持续吸收新信息的场景更划算。
人工智能星知