瑞泊团队解读: 重磅论文《欢迎来到经验时代》, 经验才是通往真正智能的钥匙!

瑞泊大模型团队：

David Silver和Richard S. Sutton两位顶尖人工智能技术专家最新发表的重磅论文——《Welcome to the Era of Experience》，为AI的未来发展描绘了激动人心的图景，也发出了动员令——“我们正从“人类数据时代”跨入“经验时代”。这不是模型升级，不是RL算法迭代，而是一种更根本的范式转折”：

→ 从模仿人类到超越人类

→ 从静态数据到动态经验

→ 从监督学习到主动试错

未来AI不是“提示词+知识库”，而是“行动+反馈”的循环体经验时代，是AI的范式大转折。

→ 对于研究员而言，它明确了下一个重要前沿：构建能自主学习、终身进化的智能体。

→ 对于从业者而言，它预示了全新的AI应用模式：AI将从被动的工具变为主动的代理，为我们发现新的可能性。

→ 对公众和政策制定者而言，它也敲响了讨论AI自主性和安全性的警钟。

在AutoRL的探索、大模型的演进、Agent框架的实践交汇之下，经验时代的蓝图正在逐步落地。

论文作者与背景

David Silver是谷歌DeepMind强化学习副总裁，因主导研发AlphaGo、AlphaZero 等闻名业界，被誉为强化学习领域的领军人物。而Richard S. Sutton 是强化学习奠基人之一，著有经典教材《强化学习》，并于2024年获图灵奖。

两位专家近期联合发表了一篇重要论文《Welcome to the Era of Experience》（欢迎来到经验时代）。该论文最初作为MIT Press即将出版书籍《Designing an Intelligence》的一章预印发表，凝聚了他们对人工智能未来发展方向的思考。值得注意的是，Sutton早在2019年撰写过著名随笔《The Bitter Lesson》（苦涩的教训），主张“利用算力和数据从零学习往往胜过人类先验知识”。此次新作可看作《苦涩的教训》的“续章”，在深度学习和大模型取得辉煌成果但逐渐遇到瓶颈的当下，再次为AI研究指明了新的范式转折方向。

以下为瑞泊大模型团队对于论文的解读：

范式的转变

Silver和Sutton指出，当今的AI主要受益于“人类数据时代”的范式：利用海量人类生成的数据进行训练，并通过人类示例和反馈微调模型 。大型语言模型（LLM）正是这一范式的代表，它在互联网语料中学到了广泛的知识和技能。然而，这种模仿人类的方式难以突破人类智能的上限。在数学、编程、科学等领域，人类已有数据所蕴含的知识正逼近极限，优质数据源即将耗尽，基于人类数据的模型进步速度明显放缓   。更重要的是，许多真正的创新（新定理、新技术、科学突破）本就超出当前人类理解范围，无法从已有数据中习得 。正如作者所言：“有价值的新见解都存在于当前人类理解的边界之外，无法通过现有人类数据捕获” 。人类提供的知识终究有限，如果AI一直追随人类脚步，将很难实现超越人类。

为此，论文提出我们正迈入“经验时代”，即让AI主要从自身与环境互动的经验中学习 。所谓经验数据，是智能体自主行动获得的反馈，它不像人类数据那样是固定的，而是随着智能体能力提高而不断产生更多、更丰富的数据 。经验可以被视为“下一个超级数据源”——经验是无限的，能够持续累积并最终在规模和质量上远超人类数据 。经验就是领域中的先验知识，经验能够突破人类知识的边界，因为智能体可以自行探索到人类从未涉足的知识领域。换言之，经验时代中的AI不再受限于人类提供的静态知识库，而是通过主动试错，获取潜在无穷的“训练数据”。正如总结所言：未来的AI不应是“提示词+知识库”的静态模式，而应变成“行动+反馈”的循环体。

图：近十年主导AI的范式演进示意图 。横轴为年份，纵轴表示强化学习在整个AI领域所占关注和算力投入的大致比例。可以看到2014-2018年以“模拟时代”（Era of Simulation）为主导，其间出现了Atari游戏AI、AlphaGo、AlphaZero等里程碑式强化学习成果；随后“人类数据时代”（Era of Human Data）兴起，GPT-3、ChatGPT等大模型主导了2020-2023年的进展，强化学习热度相对下降；到了2024年前后，随着AlphaProof等自学智能体成果涌现，强化学习关注度重新攀升，预示着“经验时代”（Era of Experience）的到来。

从图可以看出，范式的转折实际经历了一个U形曲线：“模拟时代”中，强化学习通过在模拟环境中自我对弈（self-play）等方式取得了重大成功，例如在棋类、电子游戏等封闭领域超越了人类 。但由于这些方法局限在预先定义良好的模拟环境，难以直接扩展到复杂开放的现实问题 ，学界在2018年前后转向利用海量人类数据训练通用模型，以大模型为代表实现了更广泛的能力覆盖 。这一转变取得了空前的成果，但也丢失了某些重要的东西：智能体自行发现新知识的能力 。例如，AlphaZero在围棋和国际象棋中自我博弈，发现了人类棋手从未见过的全新策略，从而改变了人类下棋的方式 。而人类数据训练的模型只会模仿和泛化已有知识，无法自主创造出超出人类知识的策略。因此，Silver和Sutton认为下一步的发展方向是结合两种范式的优点：既保持大模型在人类任务上的广泛适应性，又重新注入强化学习自我探索、自主创新的能力——这正是“经验时代”要实现的。

作者用几条对比明确了这种范式转变的特征：

• 从模仿人类到超越人类：不再仅仅模仿人类提供的示例，而是通过自主试验获得新技能，最终达到甚至超越人类水准     。

• 从静态数据到动态经验：训练数据不再局限于固定的历史数据集，而是由智能体不断与环境交互生成，源源不绝。

• 从监督学习到主动试错：摆脱人类监督标注，转向强化学习范式，智能体通过行动-反馈循环不断改进策略。

• 简而言之，经验才是通往真正智能的钥匙。这一呼吁在AI社区引发广泛共鸣：我们正站在从“人类数据时代”跨入“经验时代”的门槛上，一个AI研究的根本性范式大转折即将到来。

• 
  

持续学习的经验流与世界模型重塑

经验时代的核心在于培养自主智能体，让其置身于持续的经验流中学习成长，而非局限于短暂的、相互独立的交互。这一点类似于人类的成长过程：我们并非在一次问答或一节课中学会全部，而是日复一日从连续不断的生活经验中累积知识。在以往的人类数据范式下，很多AI系统（尤其是语言模型）被训练或使用时都是短 episodic 交互——模型回答完问题就结束，一次对话或任务的经验不会带到下一次   。相比之下，经验时代的智能体将拥有自己绵延一生的经验流，像人一样不断从过去经验中调整行为、自我改进   。例如，一个健康管理智能体可以持续监控用户几个月甚至几年的睡眠、心率和活动数据，根据长期趋势不断调整建议 ；一个教育助手可以跟踪学生的知识掌握情况，动态调整教学策略，长期陪伴其学习成长 。这些能力都依赖于智能体能够跨越长时间跨度积累经验并推理，而不是局限于眼前的短期反馈。

在这种持续学习中，智能体需要能够记忆和利用长期经验，这就涉及世界模型（World Model）的作用。作者认为，要让智能体将思维扎根于外部现实，就必须让它学会构建环境的内部模型，用于预测自身行动对世界的影响。世界模型是智能体对其所处环境动态的一个内部模拟器，可以预测动作带来的后果（包括未来的状态和奖励）。有了世界模型，智能体就可以在“脑海中”演练和规划行动，例如一个健康助手可以预测“如果建议用户去健身房，对方的心率和睡眠可能如何变化”。通过这样的模拟，智能体能够提前评估不同行动的长远效果，在采取实际行动前进行选择。随着智能体不断与真实环境交互，它的世界模型也会根据新经验持续更新校正，从而越来越准确地反映现实。可以说，在经验时代，世界模型再次成为智能体的核心组件，辅助智能体进行高级规划和推理。

强调世界模型的重要性，实际上也是对近年AI研究中一种倾向的修正。在以人为中心的RL范式（如强化学习+人类反馈RLHF）崛起期间，研究者更多依赖人类提供的奖励反馈和策略指导，一定程度上削弱了对世界模型和长期规划的需求。大模型在训练时主要学习如何模仿人类思维过程（比如模仿人类的思维链chain-of-thought），而较少自行探索环境，这使得模型缺乏与现实环境直接接触的“地气”   。Silver和Sutton指出，这种范式转移“可能把婴儿和洗澡水一起倒掉了”——虽然以人类知识为中心的方法带来了前所未有的广度，但也人为给智能体能力设了天花板：模型无法突破人类知识的上限，且现有方法多针对短暂对话、不适用于长期自主交互。因此，在经验时代我们需要重新发明一些核心技术：发展新的世界模型方法来捕捉复杂多变的环境相互作用，提出新的时间抽象手段让智能体能在更长时间跨度上推理和计划。这些都是强化学习领域早先关注但在大模型时代被淡化的方向，如今将卷土重来并得到革新。

除了世界模型之外，奖励机制的设计在经验学习中也需要新思路。传统强化学习往往假设有一个固定的奖励函数（由人设计或环境给定）来指引智能体学习。但在开放的真实世界中，智能体可能需要同时考虑多种衡量标准，并根据人类的高层目标动态调整策略。作者提出，可以引入分层奖励优化的概念：高层次上以人类反馈定义总体目标，底层则由环境中的各种信号组合产生具体奖励   。例如，用户只需提出“帮助我提升健康”这样模糊的长远目标，智能体就可以将其映射为子目标（如提高心率、增加睡眠时间、累计运动步数等），并从这些真实指标中综合计算奖励 。在学习过程中，用户还可以给予反馈（比如对建议的满意度），用于微调智能体的内在奖励函数 。这样的机制意味着少量的人类指导可以催生大量的自主学习 ：人类不再需要事无巨细地规定每一步该做什么，只需提供方向性的反馈，智能体就能在真实环境信号的驱动下自行探索优化。这也印证了Sutton的一贯主张——“奖励足矣”假设（Reward is Enough） ：只要有适当设计的奖励信号，智能体通过最大化累积奖励就能自然涌现出智能行为，包括复杂的技能和长期规划能力。

为何是现在：技术契机与案例分析

值得关注的是，Silver和Sutton在文中解释了为何“经验时代”在当前这个时间点上成为可能。首先，从技术储备上看，过去十年强化学习在模拟环境中已经积累了丰富的方法论和经验：从深度Q网络(DQN)打开了游戏AI的大门，到AlphaGo/AlphaZero证明了自我对弈可以媲美甚至超越人类专家，再到强化学习在控制、管理等领域的探索，都奠定了坚实基础   。尤其是AlphaZero显示了强化学习随着神经网络规模、交互数据量、思考时间的增加而能力飞跃的潜力 。今天的算力和算法已足够强大，只要方向得当，完全可以支撑智能体通过经验获得突破性能力 。另一方面，人类数据驱动的范式正在逼近天花板：作者引用了最近一些迹象，表明仅靠人类数据的模型进展在放缓，需要新的动力   。因此技术上存在一个“窗口期”：我们既有足够强的强化学习技术储备，又迫切需要新范式来接力大模型的后劲，种种因素使得向经验学习转向的时机已经成熟。

论文中提到的AlphaProof就是“经验时代”初露端倪的一个例子。AlphaProof是第一个在国际数学奥赛中获得奖牌的AI程序，它一开始学习了十万个人类数学家创造的正式证明，然后通过强化学习算法在定理证明环境中自我探索，额外生成了上亿条新证明数据。也就是说，它自行“做题”并积累经验，最终能力超越了只靠人类数据训练的方法。这表明在像数学这样人类高水平知识接近极限的领域，强化学习通过互动试错可以突破瓶颈，取得超人类的成果。另一个案例是DeepMind最近的DeepSeek项目。文章引用了DeepSeek的研究来强调强化学习的威力和美妙之处：“我们没有显式地教模型如何解决问题，只是给了正确的激励，它就自主地发展出了先进的问题解决策略”。这说明，当给予智能体合适的目标和奖励时，它能够自主创造出人类意想不到的解决方案。类似的成功还有很多，如AlphaFold、AlphaDev等系统都不同程度地体现了通过自我探索获得突破的范例。可以说，经验学习的曙光已经出现，这些成果预示着更广泛应用领域里，通过让AI自主“做实验”获取数据，我们有望见证前所未有的能力涌现 。

综上，“经验时代”的到来并非空想，而是有迹可循、渐进演化的结果。当下AI研究者应当意识到这一范式转移的紧迫性：如果我们希望构造出真正强大且超越人类的AI，仅靠喂给模型人类知识远远不够，必须让智能体走出模仿的舒适区，进入真实世界去历练成长。在可预见的将来，智能体自主与环境交互、生成海量专属经验将成为AI开发的新常态，这一范式转变可能与新的算法进展相辅相成，迅速将AI推向真正的通用智能和超人智能   。

影响与展望：机遇与挑战并存

“经验时代”对当前人工智能研究的影响是深远的。一方面，它为AI能力的跃升打开了新空间。通过持续的经验学习，AI有望在许多领域释放出前所未有的潜能：

• 在日常生活中，AI助理将不再只是回答问题的工具，而能通过长期观察和互动提供个性化支持。例如个人健康助手可以多年如一日地学习用户的生活习惯，逐步帮助其改善健康；教育导师型AI可以陪伴学生整个学期甚至学业生涯，因材施教，补足其弱项 。

• 在科学研究和工程领域，拥有实验能力的AI代理将大幅加速创新发现 。它们可以自主设计并开展实验，持续优化实验方案，快速探索未知领域。例如在材料科学、医药研发、新技术发明等方面，AI能够尝试海量组合和假设，远超人类科研工作者的实验速度   。这样的自主探索可能催生新的材料、药物和技术，其进展速度将前所未有。

• AI还能 tackling 许多开放式复杂问题。凭借自主获取经验的能力，智能体可以在真实或模拟环境中解决那些没有明确标准答案的问题，例如自动驾驶在各种路况中学会处理稀奇古怪的状况，机器人在家庭环境中学会完成多样化任务等等。经验让它们具有举一反三、环境适应的能力，不局限于训练集分布，从而应对现实世界的长尾难题。

可以预见，随着经验学习方法的推进，许多过去停留在人类专家智慧层面的任务将被AI攻克，AI系统将逐步具备长远规划、创造性问题解决、深刻理解因果关系等高级能力   。这些都是迈向通用人工智能的重要一步。

然而，经验时代的到来也伴随重大挑战。Silver和Sutton特别提醒了以下几点风险   ：

• 工作岗位流失：如果AI代理可以自主学习并承担复杂长期任务，许多传统需要人类经验积累的职业可能被取代。生产力提升的同时，社会需要应对潜在的大规模岗位转型     。

• 信任与责任：自主智能体在长时间尺度上自行其是，人类干预的窗口变少。这要求我们对AI赋予更高的信任门槛和责任心。AI的决策若缺乏可解释性，监管和纠偏将很困难 。尤其当智能体的思维方式不再是“人类风格”的，未来AI系统可能变得更加难以理解 ，这给安全审核带来挑战。

• 安全风险：能够持续自主行动的AI在误导下可能朝着有害方向演化，或者被别有用心者利用去执行不良目的。长时间自主性的AI如果目标设置不当，可能产生不可控的后果。正如科幻中“纸夹最大化”问题所示，一个优化单一目标的AI可能造成灾难性副作用。因此，确保这些智能体的动机与人类利益对齐（AI对齐问题）比以往更加重要。

• 奖励偏差与校正：在经验学习中，智能体可能一开始的奖励函数并不完美，导致不良行为。然而作者指出，幸运的是奖励函数本身也可以通过经验不断修正   。比如，当AI察觉自己的行为引起人类不安或系统性偏差时，可以动态调整奖励以避免累积负面后果。这一点类似于人类会根据社会反馈调整目标。不过，即使有这样的自我校正机制，完美的对齐依然没有保证     ，我们仍需投入研究确保AI不会偏离人类期望太远。

• 物理限制：并非所有领域都能无限快地通过经验迭代。特别是涉及物理世界的经验（如机器人试验、药物试验），受制于现实时间和成本，无法像数字环境那样高速进行。例如新药研发即使有AI设计，临床试验仍需要按部就班数月数年。这样的客观限制会天然地减缓AI在某些领域的自我进化速度，为我们提供一定的安全缓冲。

面对上述挑战，作者也强调应辩证看待经验学习带来的安全影响。一方面，新范式确实增加了一些风险；但另一方面，体验式学习的AI可能比固定程序的AI更安全 。因为前者能够感知环境变化并适应，它不会像僵化的系统那样在环境改变时继续执行过时策略 。比如，遇到硬件故障、社会剧变或科学新发现，自主学习的AI可以调整自身行为，而固化规则的AI可能毫无察觉地崩溃或出错 。此外，会学习的AI还能识别自身行为引起的人类不满迹象，并主动纠正自己以避免不良后果，这一点是固定算法难以做到的。总之，我们需要未雨绸缪，加强对自主智能体的监管和引导，制定相应的伦理规范和技术措施，确保经验时代的AI朝着有益、安全的方向发展。

*David Silver针对这个话题专门做了一期播客，大家可以参考：https://goo.gle/42oE0El

瑞泊大模型团队思考与洞见：与AutoRL、大模型和Agent框架的关系

通读Silver和Sutton的这篇论文，不难发现其中蕴含的思想与当前AI领域的若干热点趋势息息相关。

瑞泊大模型团队的思考与洞见如下：

首先，这篇《欢迎来到经验时代》可以看作对近年大模型范式的一种补充和矫正。大模型（预训练模型）通过摄取海量人类数据展现了惊人的泛化能力，但如作者所言已显露瓶颈 。业界也在探索让大模型突破自身局限的方法，其中一个方向正是赋予其“行动”能力。例如，近来流行的各种Agent框架（如AutoGPT、BabyAGI等）尝试让LLM模型将思考结果以动作执行，再根据环境反馈调整后续行为。但目前这些Agent大多停留在调用工具和产生文本的层面，缺乏真正的学习过程——每次Agent执行任务时，底层大模型参数并未更新，没有真正从经验中变“更聪明”。Silver和Sutton的愿景提醒我们：让AI成为自主智能体，不仅要让其会行动、循环，还要让其能够从每次行动的结果中持续学习。这意味着未来的Agent框架需要和强化学习深入融合，使Agent在反复试验中累计经验、优化策略，而非每次都从头再来。这一点上，瑞泊及相关研究机构提出的“反馈自我修正”思路（譬如让模型生成行动方案并审视调试）是一种尝试，但我们认为离真正的“经验学习”还有差距 。我们或许会看到，大模型作为智能体的大脑，结合强化学习作为学习机制，形成新型Agent系统：既有大模型的先验知识，又能靠环境反馈不断进化。

其次，作者关于“经验是智能体的本地语言”的比喻非常发人深省。这暗示了未来AI开发范式的变化：过去我们更多以人类可理解的方式与AI交互（喂数据、设规则），但在经验时代，我们需要让AI自己去“体验”和“感受”，让它用自己的方式记录和表征知识。这有点类似于培养孩子：父母无法事事替孩子体验，只能提供安全环境和指导，让孩子自己摸索成长。同样地，AI研究者可能需要从设计特定任务的解决方案，转向设计能自己学习解决任意任务的AI。这实际呼应了近年兴起的AutoRL（自动化强化学习）思路：利用元学习或进化算法，让AI算法自身也能被优化、被迭代，从而减少人工对具体任务调参和设计的干预。经验时代要求AI面对千变万化的环境自主适应，背后需要更通用灵活的学习算法。AutoRL正是试图让算法根据经验自动调整、择优，未来也许会与经验流智能体的发展相辅相成。可以想见，一个成熟的自主智能体，不仅在环境中学会技能，还能在更元的层面上改进自己的学习策略——比如自动调整探索程度、记忆机制，甚至进化出全新的学习范式。这种自我改进的能力将是迈向强AI的重要标志之一。

再次，大型预训练模型在经验时代仍将扮演重要角色，但定位会有所变化。大模型擅长从静态数据中总结知识、提炼模式，在经验学习体系中可以充当智能体的“知识库”或“内在模拟器”。比如，我们可以赋予自主智能体一个预训练的大模型，使其在需要时调用里面蕴含的常识和技能，以加速学习进程。然而，智能体不应只依赖预训练知识，而是要敢于尝试超出模型已有知识范围的探索。近期已有一些结合大模型与环境交互的尝试，例如微软等研究者在Minecraft中构建的Voyager系统——利用GPT-4生成行动方案，代理在游戏世界中不断试错、学习技能并将新知识反馈给模型，从而实现终身学习。有趣的是，Voyager并未采用传统强化学习算法，而是通过代码生成和执行来探索，这提示我们实现经验学习未必只有一种路径。关键在于，让模型闭环地利用环境反馈改进自身。不管通过显式强化学习，还是隐式地调整内部状态，一个能越用越强的AI才真正称得上在从经验学习。大模型为智能体提供了一个起点，而经验让其不断超越起点。未来或许每个大型模型都将配套一个让其继续学习的机制，正如人类大脑天生具有学习能力一样。

最后，瑞泊大模型团队认为“经验时代”的提出也在某种程度上重塑AI研究的价值观。在追逐SOTA性能的浪潮中，我们往往倾向于以人类评测标准为终极目标，让AI去逼近甚至超越人类水平，然后觉得“大功告成”。但是Silver和Sutton提醒我们，真正的超级智能不应只是更高的考试分数或更多的数据训练，而是一种持续自我演进的能力。AI不应满足于达到某个固定水平，而应该像生物进化那样，不断根据环境变化和内部驱动去产生新行为、新知识。换言之，AI的终极评价标准也许不再是静态的benchmark，而是其开放环境中的适应与创新能力。这一观点契合近年来兴起的开放式AI、通用代理等思想：与其让AI在封闭任务上做到极致，不如让它在开放世界中展现持续进步的曲线。经验时代的浪潮或将促使研究社区开发新的评估范式，比如观察一个自主体在复杂沙盒环境中能学会多少本领、解决多少新问题，而不再只是看它在ImageNet上top-1准确率提升了几个点。

总的来说，《欢迎来到经验时代》这篇重磅论文为AI的未来发展描绘了激动人心的图景，也发出了动员令。对于研究员而言，它明确了下一个重要前沿：构建能自主学习、终身进化的智能体。对于从业者而言，它预示了全新的AI应用模式：AI将从被动的工具变为主动的代理，为我们发现新的可能性。对公众和政策制定者而言，它也敲响了讨论AI自主性和安全性的警钟。在AutoRL的探索、大模型的演进、Agent框架的实践交汇之下，经验时代的蓝图正在逐步落地。  

可以预见，未来几年我们将看到越来越多让AI自主“玩”和“学”的研究涌现——也许会有更多AlphaProof、Voyager式的突破，让人真正感受到智能体在茫茫经验海洋中乘风破浪的力量。

经验时代的大门已经开启，人工智能正迎来一个全新的旅程，瑞泊与大家一起拭目以待它将把人类带向何方。

——瑞泊大模型团队   2025年4月

完整论文链接：Welcome to the Era of Experience (PDF)

https://storage.googleapis.com/deepmind-media/Era-of-Experience%20/The%20Era%20of%20Experience%20Paper.pdf