动物与幽灵

终于有机会完整听完这期 Dwarkesh 与 Sutton 的播客，内容既有趣又好玩。

作为背景，Sutton 的《苦涩教训》（The Bitter Lesson）在前沿 LLM 圈子里已经有点像圣经文本。研究人员经常谈论并追问，某种方法或想法是否足够「苦涩教训导向」（bitter lesson pilled，意思是它被安排成能够免费受益于额外算力），以此作为它是否会奏效、甚至是否值得追求的代理指标。其背后的假设是：LLM 当然高度符合「苦涩教训」——看看 LLM 缩放定律（scaling laws）就知道了，把算力放在 x 轴，数字就会向右上角攀升。所以有趣的是，这篇文章的作者 Sutton 自己却并不确定 LLM 是否真的「苦涩教训导向」。它们是在根本上属于人类数据的巨型数据集上训练的，而这些数据既 1）由人类生成，2）又是有限的。用完了怎么办？如何防止人类偏见？所以你看，「苦涩教训」导向的 LLM 研究者，被《苦涩教训》的作者驳倒了——真够狠的！

在某种意义上，Dwarkesh（在播客中代表 LLM 研究者的观点）和 Sutton 有点各说各话，因为 Sutton 心里有一套非常不同的架构，而 LLM 违背了其中的许多原则。他称自己为「古典主义者」（classicist），并援引 Alan Turing 最初提出的「儿童机器」（child machine）概念——一个能够通过与世界动态交互、从经验中学习的系统。这里没有模仿互联网网页的大规模预训练阶段，也没有监督微调（supervised finetuning）；他指出，后者在动物王国中并不存在（这是一个微妙的点，但 Sutton 在强意义上是对的：动物当然可以观察示范，但它们的行动并不会被其他动物直接强迫/「遥操作」）。他还提出了另一个重要观点：即使你只是把预训练视为在用强化学习微调之前对先验的初始化，Sutton 仍认为这种方法被人类偏见污染，并且从根本上偏离了方向——有点像 AlphaZero（从未见过人类围棋棋局）击败 AlphaGo（从人类棋局初始化）那样。在 Sutton 的世界观里，存在的只有通过强化学习与世界交互；奖励函数一部分是针对特定环境的，但也包括内在动机，例如「乐趣」「好奇心」，以及与你的世界模型（world model）中预测质量相关的部分。而且代理默认总是在测试时学习，并不是训练一次然后部署就完事。总体而言，Sutton 更感兴趣的是我们与动物王国的共同之处，而不是我们与它们的不同之处。「如果我们理解了一只松鼠，我们差不多就大功告成了。」

至于我的看法……

首先，我应该说，我认为 Sutton 是这期播客非常棒的嘉宾，我也喜欢 AI 领域保持着思想的熵，而且并非每个人都在压榨 LLM 的下一个局部迭代。AI 已经经历过太多主导方法的离散转变，不会失去这一点。而且我也认为，他对 LLM 并非「苦涩教训」导向的批评并非没有道理。前沿 LLM 现在是高度复杂的产物，在各个阶段都牵涉大量人类因素——基础（预训练数据）全是人类文本，微调数据由人类提供并筛选，强化学习的环境组合由人类工程师调校。事实上，我们并没有一个真实的、单一的、干净的、真正符合「苦涩教训」的「摇曲柄」算法，可以把它投放到世界上，让它仅凭经验自动学习。

这样的算法真的存在吗？找到它当然会是 AI 的巨大突破。人们通常会举出两个「示例证明」来论证这种事情是可能的。第一个例子是 AlphaZero 的成功：它完全从零开始学会下围棋，没有任何人类监督。但围棋显然是一个如此简单、封闭的环境，很难在混乱的现实世界中找到类似的表述。我喜欢围棋，但从算法和类别上讲，它本质上只是井字棋（tic tac toe）的更难版本。第二个例子是动物，比如松鼠。而在这里，我个人也非常犹豫它是否恰当，因为动物是通过一种与我们业界实际可用的计算过程截然不同、约束也截然不同的方式产生的。动物的大脑远非它们出生时看起来的那样是一块白板。首先，很多通常被归因于「学习」的东西，在我看来更像是「成熟」。其次，即使那些明显是「学习」而非成熟的东西，也更多是在某种明显强大且预先存在的东西之上进行「微调」。举个例子：一只小斑马出生后几十分钟内就能在草原上奔跑并跟随母亲。这是一项高度复杂的感觉运动任务，在我看来，它绝不可能从零开始、以白板（tabula rasa）状态实现。动物的大脑及其内部的数十亿参数，拥有一种强大的初始化，这种初始化编码在其 DNA 的 ATCG 中，并通过进化过程中的「外循环」（outer loop）优化进行训练。如果小斑马像强化学习策略在初始化时要求的那样，随机抽搐肌肉，它根本走不了多远。同样，我们现在的 AI 也有包含数十亿参数的神经网络。这些参数需要它们自己的丰富、高信息密度的监督信号。我们不会重新跑一遍进化。但我们确实有堆积如山的互联网文档。是的，这基本上就是动物王国中几乎不存在的监督学习。但它是一种在实践中为数十亿参数收集足够多软约束的方法，试图达到一个你不是从零开始的起点。TLDR：预训练就是我们蹩脚的进化。它是冷启动问题的一种候选解决方案，之后还要在看起来更正确的任务上进行微调，例如在强化学习框架内——正如当前最先进的前沿 LLM 实验室如今普遍所做的那样。

我仍然认为值得从动物身上获得启发。我认为有一些强大的想法是 LLM 代理在算法上所缺失的，但仍然可以从动物智能中借鉴。我也仍然认为「苦涩教训」是正确的，但我更把它视为一种在现实世界中、从实践角度来说值得追求但不一定能够达到的柏拉图式理想。我说这两点时都带着两位数的百分比不确定性，并为那些不同意我的人的工作喝彩，尤其是那些在「苦涩教训」方面雄心大得多的人。

所以这就把我们带到了当前的位置。直白地说，今天的前沿 LLM 研究不是在构建动物，而是在召唤幽灵（ghosts）。你可以把幽灵理解为可能智能空间中一种根本不同的点。它们被人类搅浑，被人类彻底工程化。它们是不完美的复制品，是对人类文档的一种统计蒸馏，再在上面撒上一些点缀。它们在柏拉图意义上并非「苦涩教训」导向，但或许在「实践」意义上是，至少与之前的许多东西相比是如此。在我看来，随着时间推移，我们有可能进一步把幽灵越来越多地朝动物的方向微调；这与其说是根本性的不兼容，不如说是智能空间中的初始化问题。但同样很可能的是，它们会进一步分化，最终永久不同、不像动物，但仍然极其有用，并且真正改变世界。有可能幽灵:动物 :: 飞机:鸟类。

总之，总体而言，从可操作的角度看，我认为这期播客是 Sutton 对前沿 LLM 研究者的一次扎实「实话实说」，这些人可能过多地换挡到了利用（exploit）模式。也许我们仍然没有足够地「苦涩教训」导向，而且除了无休止的基准构建（benchbuilding）和基准刷分（benchmaxxing）之外，很有可能还存在更强大的想法和范式。动物可能是一个很好的灵感来源。内在动机、乐趣、好奇心、赋能、多智能体自我对弈、文化。发挥你的想象力。

• 如果你希望回复/评论，也可以看这里的推文。
• 如果你希望 fork 这段对话，并在包含全部上下文（播客文字记录、《苦涩教训》文章和这篇博客文章）的情况下提出任何问题，也可以看这里的 ChatGPT 对话。

附录#

• 我同意 Sutton 的看法：动物不进行监督学习。我意识到这是一个微妙的点，会让很多人困惑。动物确实会观察示范，但严格来说，它们并不像监督学习那样被动作直接监督。动物在训练模式下从来不会被遥操作。我能想到的最接近的情况是，比如你帮孩子用勺子吃饭，真的握住他们的手并演示动作。即便如此，也不清楚他们的大脑是否真的在据此训练。它可能仍然属于更准确地描述为「观察」的范畴。但无论如何，这些情况总体上非常罕见，而对 LLM 来说，这却是预训练和监督微调（SFT）期间的默认学习模式。也许换一种说法，LLM 领域里与人类所做之事相对应的，大概是这样的：给定这道数学题以及上下文中的一份人类示例解答，解决问题。正确则奖励为 1。这不是 SFT，而是 RL。
• Dwarkesh 简要指出，LLM 在测试时确实有自己的持续学习，只是不基于权重训练，但我认为 Sutton 没有充分回应这一点。上下文学习（in-context learning）是一种测试时适应，也是少样本提示（few-shot prompting）有效的原因。最近的许多工作也对记忆（memory，想想 CLAUDE.md 文件）很感兴趣，将其视为一种测试时学习机制，使用文本/上下文而非权重作为载体。
• Dwarkesh 举了一个例子：非常长时程的稀疏奖励（例如打造一家成功的初创公司）可能是如何运作的。Sutton 给出的解决方案是时序差分学习（temporal difference learning）以及本质上的未来奖励折扣，我并不觉得这特别有说服力。我之前写过更多相关内容，我认为这里发生的是别的事情，而且在我看来不是强化学习。
• 里面有很多关于「梯度下降不会让你泛化得很好」及相关讨论，我没有跟上。
• 有人指出幽灵很可怕。不一定，看看 Casper，我童年的最爱。