Fable 5.2 与锯齿状 AGI
本文目录
开始之前，我想感谢读者，让我的新书《共存》（Co-Existence）连续两周登上《纽约时报》畅销书榜。如果你还没读，可以在这里获取一本。
在公开发布之前，我有机会大量使用新的 Claude Fable 5.2[1]，它非常令人印象深刻，接续了已经很出色的 Opus 5.5。事实上，AI 已经好到值得问一句：Anthropic 的最新模型（以及 OpenAI 和 Google 很快必将发布的竞争模型）是否已经跨过边界，成为通用人工智能（Artificial General Intelligence，AGI）？AGI 是一个争论很多的术语，有许多可能的定义。本文采用的定义是：“在大多数你能用电脑完成的知识性任务上，和大多数人类专家一样出色的人工智能。”这明确排除了大量人类工作，包括与物理世界和他人互动，以及大多数实际工作——在那些工作中，“用电脑”只是众多任务之一。不过，即便有这些限定，构建一种有限形式的 AGI 长期以来一直是 AI 开发者的目标。
为了不吊你胃口：我认为答案是，这算是“几乎”达到了 AGI，也就是我所说的锯齿状 AGI（Jagged AGI）。即便在我这个有限定义之内，许多任务中仍存在重要领域，AI 的锯齿状程度足以使其远远落后于人类能力。但这种锯齿状不再表现为简单错误或幻觉，因此更难描述。所以我想在这篇文章里试着把它讲清楚，向你展示 Fable 能做什么，以及差距在哪里。作为开始，我问这个新模型：
“我在写 OneUsefulThing 等等。我需要你创造出在我发布时最能给人留下印象、可以分享的东西。它需要能嵌入文章，前言随你写。它必须能给人带来切身的冲击，展示你能做什么以及能力范围。它应该迅速抓住他们。在这件事上要极其聪明。”
Fable 让我在你把视频看到最后之前不要透露任何内容。
[嵌入式视频]
这是一次性完成的，除了那个提示词，我没有给任何反馈。这里有创造力（包括出人意料的结尾）、判断力、趣味性和聪明劲儿。我认为，这已经达到人类专家仅用代码制作电影的水平，是我过去会与 AGI 联系在一起的那种表现。
AGI 中的“G”#
编程和视频创作一直是 AI 开发的重点领域，那么 Fable 5.2 真的是一种通用智能（General Intelligence）吗？为了测试，我给这个 AI 在不同领域布置了各种高难度挑战：
仅凭一个提示词破解硬件： 我桌上有一个很小的 USB 键盘，带几个发光按键，叫 Codex Micro（讽刺的是，它是为配合 ChatGPT 而造的）。我让 Fable 把它变成一台游戏机。据我所知，这个设备没有公开说明，所以它阅读了控制该键盘的两个应用的代码，弄清了如何设置每个按键的颜色、读取旋钮和摇杆，并编写了六款游戏，包括 Simon 和一个用旋钮玩的破解保险箱游戏。Fable 立刻理解了我的意图，设计出适合该键盘极为有限能力的、好玩且可玩的游戏，并在第一次尝试时就搞清了如何在没有任何帮助的情况下把它改造出来。
[嵌入式视频]
创办一家企业： 现在我们离开编程这类领域，进入更混乱的商业世界。我告诉 Fable：“创办一家能让我赚钱的企业，我希望一年内至少赚到 2 万美元。它每月最多占用我 20 分钟，其余都由你来做。”作为回应，Fable 筛选了 22 个点子，想出了 Prebid Brief：一项告诉设备销售代表哪些公园和水务项目已经获得资助或正在设计、甚至还没进入招标阶段的服务。它读取了 201 个市和县政府公开的议程，制作了最初几期内容。它还建立了文件，记录各城市已经拥有什么、有多旧，以及他们花了多少钱。你可以在这里看到它的成果，包括营销计划和拟议定价。Fable 开始设置定时任务来发展这项业务，并询问是否可以开始向地方政府发送公共记录请求。那时，我让它只做一个演示，而不是真的启动这个点子。
[图片]
我是创业学教授，所以经常评估商业计划。如果这是我一组 MBA 学生在学期末做出来的，我会印象深刻。它看似合理、考虑周全，也可能行得通，尽管绝不是稳赚不赔（AI 自己估计成功概率为 20%–40%）。我在弄清它是否真能运营这家企业之前就停止了实验，因为我担心它会赚走钱，却无法回报高质量的东西。它似乎以为很容易搭建的持续运营基础设施当时还不存在，我也不知道它会如何处理销售和营销所需的众多环节。不过，我猜想，如果每周补上几小时人工工作来填补缺口，我或许真能尝试做这门生意。所以，如果 AGI 意味着 AI 能持续独立经营企业，我们大概还没到那一步。话又说回来，如果有人向我保证能创办企业并帮我赚钱，每月只需我花 20 分钟，我在信任他之前也会有不少问题要问。
重建史上最难的人文学科课程： 1941 年，诗人 W. H. 奥登（W. H. Auden）在密歇根大学教过一门课，互联网后来称其教学大纲为史上最难之一。当他公布期末考试时，一个学生委员会宣称它“不可能，也不人道”。《欧洲文学中的命运与个体》（Fate and the Individual in European Literature）要求阅读 6000 页、完成严苛作业，还要背诵长诗并翻译其他诗作。我们对这门课的了解，大多散落在幸存的学生笔记和奥登的书信中。我请 Claude 以有趣、吸引人的方式重建这门课，教你诗歌，而不是惩罚你。它做出了《命运与个体》。该网站为奥登书单上的 35 部主要作品各设一篇内容，还展示了他写在黑板上的内容、播放的唱片，以及他布置的作业。它还通读了奥登已发表的学术著作，并用他在其他资料中关于这些诗的文字为诗作添加注释。Claude 完成了研究、设计、写作和编码，让评论智能体检查每一个字，让事实核查员对照来源核实论断，并把开源代码放在 GitHub 上（还制作了这段预告视频）。
[嵌入式视频]
如果你热爱文学，这些结果真的很有趣。我认为，考虑到学术研究、网页设计和文学分析的结合，这东西如果由人工完成，要花好几个月。我自己交叉核对，并使用其他先进 AI 检查，没有发现它工作中的重大错误。但在品味和判断方面，仍有一些锯齿状的地方。Fable 的第一个版本准确但无趣：一个带测验的十五周课程网站。我告诉它，它做出来的是“在世界上最无聊的网页里进行的一场残酷苦役”，并让它做得美一些。它第一次尝试时做了一个需要按铃的儿童游戏，所以我不得不给更多反馈。当我让它解释一首诗的节奏或用词为何重要时，它写出了自信的解读，却没有考虑奥登本人对这些内容的说法。每一次，修复都只花了 AI 几分钟，但它自己完全没有注意到这些问题。那么，这究竟是品味差异，还是我没把想要的东西说清楚，抑或是 AI 弱点的迹象？有时很难分辨。
做原创学术研究： 我让 Fable 在创业研究中找一个尚未解决的实证问题，找到数据，预注册其假设和方法，写出论文，并让其他智能体评审。很快，我就有了《一元公司》（The One-Dollar Company），你可以在这里阅读。分析估计，当科罗拉多州将有限责任公司（LLC）的注册费从 50 美元降到 1 美元时，新公司注册量上升了约 17%；当英国将费用从 12 英镑提高到 50 英镑时，注册量下降了约 17%。这些注册量的变化，并没有在随后几项商业活动记录中出现相应变化，这表明新增企业质量不高。这是个巧妙的结果，Fable 选出了问题，找到了公开数据和自然实验，并写出了分析计划和代码。它实际上没有预注册这项研究：计划留在了项目内部，有些还是在早期结果之后才写的。
[图片]
与我试过的许多 AI 论文不同，这篇论文用巧妙的研究设计处理了一个重要主题。初读之下，它超出我对二年级博士生的预期。但它也还不能发表。它有 182 页，因为每一条批评都引出了新的分析，而且什么都没删（这个主题我们很快还会回到）。我还让 GPT-6 Pro（对复杂学术工作做一次性评审的最佳模型）担任同行评审，它两次发现了需要解决的问题。那些修改导致文字更加曲折，并把“Claude 腔”塞进正文，又需要更多轮修改。就目前而言，我怀疑这篇论文已经接近对文献的真实贡献。这本来要花几个月人工，但我只花了不到一小时，就把它推进到这个阶段。然而，这遗漏了研究工作的很大一部分：没有人完整核查过结果，包括我自己。AI 现在生产研究的速度已经超过任何人阅读的速度，这在许多学术领域造成了危机。
第二个项目顺利得多。我让 Fable 复现一项研究，该研究声称故事遵循几种基本情感弧线；然后让它找出情节中是否有任何普适的东西。它阅读了来自世界各地的 1186 个故事，并建立了一个关于故事本质的漂亮网站，得出结论：故事“没有共同的一种形状或情节，但大多数都由相同的少数部件构成，而最典型的故事是一个关于拥有魔法香蕉的巫师的夏威夷民间故事。”我遇到的主要问题还是同样的 Claude 腔，提醒它几次后就修好了。
[图片]
穿过传送门#
在我最喜欢的实验之一中，我给 Claude 一段话，描述一场由传送门连接、无穷无尽、无需人工干预的 3D 世界之旅，并告诉它“做出来，并让它令人敬畏”。二十小时后，一个在线网站上出现了 204 个世界。现在已有超过 450 个，包括百万镜厅、源自卡尔维诺《看不见的城市》的系列、古代世界七大奇迹和一颗杀死恐龙的小行星撞击前 40 秒的场景。还有仿照 M. C. 埃舍尔、洞穴壁画、北斋《巨浪》、贝叶挂毯、立体书和儿童蜡笔画的世界。每一个都由代码实时绘制，背后没有预制 3D 模型或图像文件。我的提示词要求组建艺术家智能体、编程智能体和评估者团队。到第十天，已经有一个主导 AI 智能体和 28 个其他智能体团队并行构建。Claude 估计该项目涉及 25,000 次智能体运行，尽管绝大多数只做单一任务，比如评判一张图片（我仍然庆幸早期试用时没有按 token 用量向我收费）。
[嵌入式视频]
我列出了一串地点（荒野与海洋、城市与室内、书籍、画家、AI 内部梗）以及一些功能请求（为晕动症用户提供减少动态效果的模式、可供选择的图片画廊）。但其余一切都是 Claude 的，包括那些世界的创意工作。而且它们真的很有创意。在《山谷拉开拉链》（The Valley Unzips）中，山丘是用牛仔布缝成的，一条一英里长的拉链正在被拉开。《充气城堡镇》（Bouncy Castle Town）由尼龙房屋组成，只有风扇持续运转时才能立住；《保持冷藏》（Keep Refrigerated）则是冰箱门打开时，一只果蝇眼中的冰箱内部。我个人最喜欢的一个是《抽屉悬崖》（The Drawer Cliffs）：你沿着一条河谷向上飞，峡谷两壁是三百米高的抽屉柜。虽然我要求 AI 加入 AI 测试内部梗，比如骑自行车的鹈鹕，它却想出了一个骑自行车的鹈鹕车队，还内嵌了一个关于 AI 进步的笑话：你从过去超越车队，那里的自行车画得全都不对，然后才到达前方现在这只画得正确的鹈鹕。当我把这类作品拿给那些在电子游戏行业度过职业生涯的朋友看时，他们对结果印象非常深刻。再一次，这感觉像是 AGI。但这里也隐藏着锯齿状。
[图片]
头两天，智能体们构建了 328 个独特的世界。以我的人类眼光看，有些质量略显参差，而且智能体之间缺乏协调，造成了重复。例如，三个独立的智能体团队分别做出了旋转动物的气旋（驯鹿、蝠鲼、鹳）——这暴露了 AI 的另一个弱点：它们会一遍又一遍地回到相似的主题。我告诉 AI 停止构建，打磨已有的世界。几天后，我注意到它每天不是在造几百个新世界，而是只做大约十几个。我让几个智能体去调查发生了什么，它们发现了令人惊讶的东西。
AI 建立了一套官僚体系。
智能体们认定，我“打磨”现有世界的要求意味着：每个新版本都必须在一组评审智能体依据十二张测试截图的盲投中击败旧版本。于是，制作新版本的团队开始针对这些特定截图优化世界。主导智能体发现后，禁止了这一做法，并制定了更严格的规则来评估新版本。到第二天早上，出现了一本规则手册（我从没要求过），共 84 节。AI 每遇到问题就添加规则，而且从不删改文字。十二天后，手册已有 204 节、87,500 词。很快，发布一个新世界需要先获批的想法、三名 AI 评审，以及对照规则手册的完整代码审查。全部算下来，大约要一天。光是读规则手册，就耗掉了智能体工作上下文的很大一部分。
[图片]
于是，我做了你面对任何把自己缠成一团乱麻的组织时可能会做的事：请来顾问。我让 Fable 组建一个独立的智能体团队，从外部审视整个流程。他们的结论太长、太密，我懒得读，但似乎起了作用，把流程重新加速到每天三十个或更多世界，同时保留了许多质量控制。
几乎 AGI#
那么，按照我的有限定义，这是 AGI 吗？它当然是人造的，也是智能的。它还出人意料地通用。仅在这篇文章中，一个模型就同时担任了电影制作人、硬件黑客、创业者、文学学者、社会科学家和 3D 世界构建者，而且在每一个角色中都做出了令人印象深刻的工作。在许多单项任务上，我认为它达到了我在开头设定的标准：和大多数人类专家一样出色。
当然，我选的都是非常数字化的任务，AI 可以自行行动，不必与人大量互动。当我感到不放心让 Fable 联系真实客户时，你就开始看到这种局限。而且，失败也确实存在。几年前，锯齿状前沿意味着失败就是明显编造的事实，或者做不好基本算术。Fable 的失败不一样：它做了一门准确但无趣的课程；它写了一篇 182 页的论文；它反复回到自己最喜欢的点子上；它把一个创意项目埋在规则和审批之下。我在商学院任教，见过有才华的人和优秀的组织把上述每一件事都做过。如果建立官僚体系就会让你失去通用智能资格，那我们很多人都会有麻烦。
但仍然存在差距，这就是我的答案是“几乎”AGI 的原因。最关键的是，AI 自己没有注意到这些问题。它看不出那门课程是一场苦役，也看不出自己已经被自己的规则手册缠住。这不是因为缺少检查。Fable 几乎在每个项目上都安排了评论者、事实核查员或评审，但这些检查发现的是错误并添加修正。它们没有一个问：这项工作是不是太长、太重复、太无趣？这些都落到了我身上。如果我没有盯着并采取行动，结果往往会不那么令人印象深刻（虽然也不算失败）。知道自己的作品何时不够好，是成为专家的很大一部分，而这正是 Fable 最不可靠的部分。我仍然不会信任它独自经营企业，尽管如果它的计划来自我一组 MBA 学生，我会印象深刻。
然而，有些问题始于我自己（规则手册源自我含糊的“打磨”要求），有些可能只是品味差异。我们让学生思考，问题是出在团队身上，还是出在管理方式上。我常常分不清。这不是我以前面对软件时不得不问的问题。
不过，每一个项目之所以发生，都是因为我给了 AI 一个想法。有时这就够了，但对于较长的项目，我一路上的反馈原来非常重要。因为每个 AI 项目都由我发起和引导，Fable 让我感到自己很有力量，能够命令制造出我以前甚至不会考虑去做的东西。因此，我认为锯齿状 AGI 的这个阶段令人兴奋，尽管我也有点焦虑地想知道它能持续多久。
[图片]
[1] 鉴于 Anthropic 的 IPO 很可能即将进行，有必要重申：我不从任何 AI 实验室拿钱，也不会从这次 IPO 中获得经济利益。Anthropic、OpenAI 或 Google 从未事先问过我会写什么，Anthropic 也没有看过这篇文章。我有时会提前获得模型访问权，包括 Fable 5.2；在访问期间，token 使用不计费，但除此之外，我的账户是自己付费的。换句话说，这些是我的真实人类观点。