心智的空间

智能的空间（the space of intelligences）很大，而动物智能（我们唯一已知的智能）只是其中的一个点（或者一小团云），它源自一种非常特定的优化，这种优化与我们的技术所依赖的优化有着根本不同。

上图：X/Twitter 上可以找到对人类与 AI 智能的幽默描绘，这一条是我最喜欢的之一。

动物智能的优化压力：

• 与生俱来、连续不断的、具身“自我”的意识流；在危险的物理世界中维持稳态（homeostasis）与自我保全的驱动力。
• 经过自然选择的彻底优化 => 强烈的先天驱动力：追求权力、地位、支配与繁殖。许多打包好的生存启发式：恐惧、愤怒、厌恶……
• 本质上是社会性的 => 大量算力用于情商（EQ）、对其他智能体的心智理论（theory of mind）、建立纽带、联盟、结盟以及敌友动态。
• 探索与利用（exploration & exploitation）的调校：好奇心、乐趣、玩耍、世界模型。

与此同时，LLM 智能的优化压力：

• 最多的监督信号来自对人类文本的统计模拟 => “变形者”（shape shifter）式的 token 搅拌器，是训练数据分布中任意区域的统计模仿者。这些是原初行为（token 痕迹），其他一切都螺栓固定在其上。
• 越来越多地通过强化学习（RL）在问题分布上微调 => 天生就有猜测底层环境/任务以获取任务奖励的冲动。
• 越来越多地通过针对日活跃用户（DAU）的大规模 A/B 测试被选择 => 深深渴望普通用户的一个“赞”，即谄媚（sycophancy）。
• 更尖峰化/参差不齐，取决于训练数据/任务分布的细节。动物承受着对更“通用”智能的优化压力，因为它们是在高度多任务、甚至主动对抗性的多智能体自我博弈环境中被 min-max 优化的，在那里任何一项任务失败都意味着死亡。从深层优化压力的角度看，LLM 无法开箱即用地处理许多不同的尖峰任务（例如数“strawberry”里有多少个字母“r”），因为任务失败并不等于死亡。

计算基底（computational substrate）不同（Transformer 对大脑组织与细胞核），学习算法不同（SGD 对 ???），当下的实现方式也大不相同（持续学习的具身自我，对一个从固定权重启动、处理 token 然后死亡的、有知识截止日期的 LLM）。但最重要的是（因为它决定渐近性质），优化压力/目标不同。LLM 受生物进化的塑造少得多，受商业进化的塑造多得多。这远不是丛林中的部落生存，而更像是解决问题/获得点赞。LLM 是人类与“非动物智能”的“第一次接触”。只不过这很含混、令人困惑，因为它们仍然通过反射式地消化人类产物而扎根于其中，这也是我早先试图给它起另一个名字的原因（幽灵/精灵什么的）。那些为这个新的智能实体建立良好内部模型的人，将更有能力在今天对它进行推理，并预测它未来的特征。没有做到这一点的人，将像对待动物一样错误地思考它，困在其中。