可验证性（Verifiability）

AI 曾被比作各种历史先例：电力、工业革命等等。我认为最强的类比是把 AI 看作一种新的计算范式，因为二者从根本上都关乎数字信息处理的自动化。

如果你在 1980 年代左右预测计算对就业市场的影响，你会考察的一项任务/工作的最具预测性的特征是可指定性（specifiability），也就是说，你是否只是在按照刻板的、易于指定的算法机械地转换信息（例子包括打字、记账、人类计算员等）？在当时，这正是那个时代的计算能力允许我们（手工、人工地）编写的那一类程序。我把手写的程序称为“软件 1.0（Software 1.0）”。

而如今有了 AI，我们能够编写以前绝无可能靠手写完成的程序。我们通过指定目标（例如分类准确率、奖励函数），并借助梯度下降搜索程序空间，找到能很好地达成该目标的神经网络。这是我之前写的那篇软件 2.0（Software 2.0）博客文章。那么在这个新的编程范式中，新的最具预测性的特征就是可验证性（verifiability）。如果一项任务/工作是可验证的，那么它就可以被直接优化，或通过强化学习优化，神经网络可以被训练得表现极其出色。这关系到 AI 能在多大程度上“练习”某件事。环境必须满足：

• 可重置（你可以开始一次新的尝试），
• 高效（可以进行大量尝试），
• 可奖励（存在某种自动化过程，能够对所做的任何特定尝试给予奖励）。

一项任务/工作越是可验证，它在新编程范式中就越容易被自动化。如果它不可验证，那就只能指望神经网络泛化的魔法碰运气发生，或者通过模仿这类更弱的手段来实现。这正是推动大语言模型（LLM）进展呈现“参差不齐（jagged）”前沿的原因。可验证的任务进展迅速，甚至可能超越顶尖专家的能力（例如数学、代码、观看视频的时长、任何看起来像有正确答案的谜题的任务），而许多其他任务相比之下则滞后（创造性、战略性，以及需要结合现实世界知识、状态、上下文和常识的任务）。

• 软件 1.0 能轻松自动化你能指定的东西。
• 软件 2.0 能轻松自动化你能验证的东西。