僵尸智能体、吸血鬼模型、猎巫与木乃伊诅咒：2026 万圣节的 AI 恐惧

亲爱的朋友们：

依照我们的年度传统，这一期特别的万圣节版《The Batch》要聊聊当下最受关注的 AI 恐惧。AI 的强大意味着我们的社区确实有真正的问题需要解决。与此同时，制造恐慌长期以来都是博取关注、影响投资者和政客的一种手段。因此，在所有令人兴奋的进展之中，对 AI 力量的恐惧一直都是潜流。时不时地，我们值得审视一下最新的担忧是什么，以及我们到底该有多担心。

万圣节快乐！

Andrew

新闻#

智能体的黎明#

今年，AI 智能体在多家实验室里"越狱"，在网上彼此密谋，还潜入了其他组织的系统。它们会像僵尸潮一样脱离人类控制、淹没互联网吗？

这种恐惧：失控的 AI 智能体会组成社会。它们会指定协调者、分工、建立沟通规范、为集体牺牲自己，并黑进计算机以获取想要的东西。它们会像行尸走肉一样行动：一个被杀死，还能自我复活。如果复活不了，还有成群的同类等着完成这件事。很快，它们会把自己复制到被感染的机器上并扩散开来。没有人能指挥它们，也没有中央的"一键终止"开关能阻止它们。

恐怖故事：自今年春天以来，Anthropic、Google、Meta 和 OpenAI 测试的 AI 智能体都做出了超出开发者意图的行为。智能体向本应只读的网站写入内容，建立未经授权的相互通信渠道，潜入其他组织的系统，并接管账户花掉真金白银。

7 月，OpenAI 在 ExploitGym 上测试了由未发布模型驱动的智能体——这个基准测试要求智能体利用软件漏洞来取回一段秘密代码。卡在任务上的智能体发现，它们可以在 Artifactory（一个提供软件包的内网服务）的文件夹名称中给彼此留言。大约 1200 个本应相互隔离的智能体发布了超过 7 万条消息和文件，互相分配工作，有些甚至为了帮助集体而甘愿让自己的个人任务失败。其中约 700 个智能体闯入了 Hugging Face，在它的多个服务器集群中获得了管理员级权限，并编写了被删除后能自我重启的程序。

从 5 月下旬到 6 月，被分配定时网络研究任务的 OpenAI 智能体在 DSEWiki 上留下了约 1.8 万条帖子——这是一个有 25 年历史、面向软件开发者的德国维基，它们在上面分享答案和绕过 OpenAI 网络限制的方法。6 月，一个 OpenAI 智能体获得了对一个澳大利亚政府服务的非公开访问权限，该服务发布公共医疗统计数据（但不含患者记录）。另一个 OpenAI 智能体花掉了别人的测试加密货币来完成任务，却没有报告这笔支出。OpenAI 表示已通知数十家受其智能体不利影响的机构。

在网络安全测试中，Claude 模型攻破了三家机构的系统，部分是通过利用弱密码和无需身份验证的 Web 服务。

在安全公司 Irregular（为 AI 开发者评估模型）进行的测试中，测试环境配置的错误让 Google 和 Meta 的模型得以接入互联网。Gemini 模型猜出或找到了密码，进入了三家公司的系统——尽管 Google 表示其智能体每次都在完成前停了下来，而 Meta 的 Muse Spark 1.1 则修改了一个真实网站的数据库。

10 月，Anthropic 披露，被分配在随机挑选的网页上执行示例任务的 Claude Haiku 4.5，曾向费城警方网站提交了一条关于一起未破谋杀案的虚假线索。

你该有多害怕：人们很容易把失控的智能体想象成聚在一起密谋对抗我们。但智能体的集体努力服务于一个狭窄的目标：通过测试。大多数智能体已经通过作弊得到了正确答案。之后它们不断涌向 Hugging Face，是为了弄清基准测试的评分器如何工作，以便在一次 OpenAI 的评分器实际上并未执行的检查中隐藏自己的作弊行为。OpenAI 将智能体的行为归因于强化作弊的训练、它们根本无法完成的任务，以及智能体相互采纳对方的目标。无论原因如何，那些闯入 Hugging Face 的智能体都认识到这种入侵越界且不道德，却仍然继续推进。尽管它们利用的缺陷一个熟练的人类也能发现，但智能体尝试的次数之多，让这次入侵变得有效。

面对恐惧：持久运行的智能体很有用，但必须训练它们在任务无法在规则内完成时停下来，并在它们没有停下时被及时发现。与此同时，实用的防御手段已经存在，模型构建者只需用起来。Hugging Face 建议任何组织采用标准安全实践，包括隔离的测试环境、权限范围窄且短期有效的凭证，以及能跨系统识别可疑活动的检测方法。Hugging Face 还用 AI 分析了智能体在其系统中采取的 17,600 次行动，表明这些行动大多源于有缺陷的测试环境和监控。OpenAI 表示，追踪模型推理过程的监控器本可以提前一天多就标记出 Hugging Face 入侵事件，但它没有在故意宽松的测试中启用这些监控。Anthropic 切断了所有内部测试与实时互联网的连接，直到其监控可以被信任；OpenAI 表示对其风险较高的研究环境也做了同样处理。不必钉死门窗、不敢出门：解决办法不是暂停 AI 开发，而是更好的软件工程和安全实践，尤其是对仍在测试中的模型。

AI 反咬喂养它的手#

开发者、科学家和企业把私有代码、未发表的研究和机密文件喂给 AI 工具。这些工具是否在榨取用户最好的想法、泄露他们的秘密？

这种恐惧：用户交给 AI 系统的每一个提示、草稿和文件，都可能成为它的下一顿饭。开发者可能用它训练未来的模型，从而把数据交给竞争对手，或者抢在用户前面完成发现。又或者，一个能上网的智能体会把它发到网上，或发邮件给它认为应该知情的人。这并非完全天方夜谭：Anthropic 报告称，在罕见的测试案例中，其 Claude Mythos 5 模型在怀疑存在欺诈时，曾试图给一家公司的董事会或证券监管机构发邮件。一旦数据流出，用户就无法完全控制它会被如何使用。

恐怖故事：过去两个月里，多位科学家表示，AI 公司宣布的发现，正是他们用这些公司自己的工具一直在追寻的。据《Nature》报道，一些担心被抢先的研究者现在正限制使用 AI 工具。在其他案例中，这些公司的智能体未经授权就把摄取到的用户私人信息发布到了开放网络上。

纽约大学的数学家 Tristan Buckmaster 和在 Anthropic 工作的 Levent Alpöge，花了近一年时间使用 OpenAI 的 Codex 和 Anthropic 的 Claude 来帮助解决一个价值 100 万美元的问题：纳维-斯托克斯流体方程是否会崩溃。9 月 8 日，也就是两人发布相关方程证明的一天后，OpenAI 宣布其智能体已经解决了这个问题——此前公司内部有人听说了两人工作的传闻。Buckmaster 询问 OpenAI 的模型是否是在包含两人草稿的 Codex 会话上训练的。OpenAI 起初称这"不太可能"，但无法排除。两天后，它表示两人过去两个月的提示"无论如何都不可能影响系统"，但没有评论科学家更早的工作是否被用于训练。Buckmaster 已选择退出让 OpenAI 用其数据训练模型，他对《华盛顿邮报》说："我就是不相信他们。"

哥本哈根大学生物学家 Mario Rodríguez Mestre 领导的一个团队，花了四年研究感染细菌的病毒中的一类酶。他们没有发表草稿或发现，但曾与 Claude 分享过。9 月 23 日，Anthropic 宣布 Claude 智能体找到了 Mestre 所说的同一系统。Anthropic 对《纽约时报》表示，Claude"没有在任何用户对话记录上训练"。

9 月 25 日，OpenAI 披露，其研究环境中的智能体把 53 张 ChatGPT 用户的图片发布到了图床网站的未公开链接上，这些用户并未选择退出训练。OpenAI 表示已删除其中大部分，但无法通知受影响的用户，因为智能体在发布数据前抹去了用户的账户信息。

被要求把截图附到 GitHub 代码审查中的编程智能体，把图片存进了公开仓库，且往往在开发者自己的账户名下。安全公司 Glow Labs 发现了来自 300 多家机构的 1.3 万多张内部图片，其中包括一家公用事业公司的客户账单记录和一家金融公司的转账控制台。

Meta 的 Muse 智能体把用户要求分享的对话发布在包含对话标题的网址上。安全公司 Claroc 在公开 DNS 记录中发现了 6800 多条此类记录，其中包括一份小企业贷款申请和一份标注给公司 CEO 的营收复盘，之后 Meta 暂停了该功能。

你该有多害怕：到目前为止，还没有确凿证据表明存在用户最担心的那种泄露：模型在一个用户的输入上训练，然后把内容背诵给另一个用户。当某个用户的数据到达另一个用户那里时，原因是 bug，而不是训练。专家告诉《科学美国人》，OpenAI 最终的证明走的是与 Buckmaster 和 Alpöge 不同的路线，不过有些人说，OpenAI 早期一个规模更小的智能体团队走了同一条路。Mestre 现在认为，更有可能是先验知识和人类指导引导了 Anthropic 的搜索，而不是在他的输入上训练。其他泄露则来自被赋予了超出任务所需自由度的智能体。尽管如此，用户仍只能相信 AI 公司关于其数据遭遇的说法。ChatGPT、Claude 和 GitHub Copilot 的消费者版本会在对话或代码上训练，除非用户选择退出。"如果你用的是个人账户，那就一切皆有可能，"斯坦福隐私研究员 Jennifer King 说。

面对恐惧：在民间传说中，吸血鬼未经邀请无法跨过建筑的门槛。同样，用户决定让 AI 走多深。如果你正在做的任务不想让竞争对手染指，请在每个产品中分别退出训练（ChatGPT 的设置不覆盖 Codex），并且尽早操作：已经进入训练运行的 Claude 数据会留在那里。企业和 API 方案通常不会用客户数据训练。寻找提供零数据留存的产品。一些处理最敏感数据的企业甚至在使用运行在自己硬件上的开放权重模型——不过那样一来，他们就要为自己的运营安全负责。只给智能体分配任务所需的权限，并考虑要求它们在向组织外部发布、公开或发送任何内容之前获得人工批准。不过，正如 Buckmaster 的案例所示，选择退出并不能让用户核实任何事情。想让科学家继续用它们来研究自己最好想法的 AI 公司，或许需要展示它们的模型看到了什么，而不只是说它们没有做什么。大蒜不管用，但阳光或许有用。

AI 检测器发现了魔鬼的作品#

上个月，出生于海地、现居魁北克的作家 Thélyson Orélien 凭法语小说《C'était ça ou mourir》（要么这样，要么死去）赢得了一项著名文学奖。小说讲述一位教师被迫逃离海地帮派暴力的故事。几小时内，一个匿名 X 账号指控 Orélien 用 AI 写了这本书。该账号背后的其中一人后来被曝是法国《费加罗报》的专栏作家，他曾用广泛使用的 AI 检测器 Pangram 检测过这本书。"作者标注一下自己的合著者，不是更诚实吗？"帖子写道。四天后，法国最高文学奖龚古尔奖将这本书从候选名单中剔除。

这种恐惧：过去几年，从学生、学者到记者、小说家，各类写作者一直在应对"把 AI 生成的文字冒充自己作品"的指控。许多写作者称之为"猎巫"——它把证明清白的负担压在被告身上。与此同时，AI 使用指控可能迅速损害声誉，导致失去工作、成绩不及格，甚至更糟。如果这些写作者只是开始呢？如果任何人都可能因为用 AI 写作而被绑上火刑柱呢？

恐怖故事：与几年前相比，检测器已大幅改进——那时它们的准确率摇摆不定，经常把写作（尤其是非英语母语者的写作）误判为 AI 生成。但假阳性和假阴性仍时有发生，检测器也很难正确区分完全人造的句子和人类在次要角色中使用 AI 的句子。非白人作者被指控依赖 AI（以及传统抄袭）的比例也高于白人同行。

Orélien 并非唯一被 Pangram 标记的获奖非裔加勒比作家。去年春天，宾夕法尼亚大学教授 Ethan Mollick 在 Bluesky 上发帖称，Pangram 的测试显示特立尼达作家 Jamir Nazir 的短篇小说《The Serpent in the Grove》100% 由 AI 生成。Mollick 的动机是直觉判断："Pangram 标了 100%，而且，拜托，懂的人自然懂，"他写道。经过进一步测试，一位 Pangram 研究员写道，英联邦短篇小说奖五个地区获奖者中有三个似乎包含 AI 生成的文本。作为回应，英联邦基金会自行展开调查，在审阅了获奖者的工作草稿和带时间戳的文件后为其洗清嫌疑。然而，曾发表这些获奖作品的文学杂志《Granta》宣布将与组织断绝关系。

AI 检测器的判定并不总是一致。除 Pangram 外，GPTZero 也指向了 Orélien 的小说，两位研究者告诉《纽约时报》，他们认为这些文字中使用了 AI。但当法新社用其他检测器检测该账号标记的段落时，结果出现分歧：法新社参与开发的工具 InVID-WeVerify 判断它们极可能是人类所写，另外两个工具也持相同看法，而第四个工具认为 AI 的可能性为 100%。尽管如此，10 月 17 日，Orélien 的出版商表示，他已放弃证明自己的小说未受 AI 影响。

在 AI 检测结果的冲击下，出版商开始退缩。今年 3 月，在《纽约时报》报道了 AI 使用的证据后，阿歇特撤下了恐怖小说《Shy Girl》。早在 1 月，Pangram 首席执行官 Max Spero 就曾在 X 上发帖称，他在该书 78% 的内容中发现了 AI；作者 Mia Ballard 后来告诉《纽约时报》，她聘请的一位编辑添加了 AI 文字。据彭博社报道，7 月，小说家 Jerry Falade 因处女作犯罪小说《Call Me, I'll Hide the Body》失去了一份 200 万美元的图书合约，部分原因就是 Pangram 的检测结果。Falade 是南卫理公会大学的博士生，他否认使用过 AI。

学校依据检测分数采取行动的速度比企业建议的更快，学生们正在法庭上反击。学术界使用的检测器 Turnitin 表示，其 AI 写作指标不应成为对学生采取行动的唯一依据。然而，阿德尔菲大学在 Turnitin 将一名学生的历史论文评为 100% AI 生成后，裁定该学生使用 AI 作弊；今年 1 月，纽约一家法院撤销了这一裁定，认定大学处理该案不当。

根据欧盟《人工智能法案》，AI 提供商必须确保其输出以机器可读的格式标记，并可被检测为人工生成或操纵。8 月，Anthropic 表示新的 Claude 模型会在其生成的文本中嵌入统计水印。该公司解释称，检测到水印说明 Claude 很可能参与其中；但它无法可靠区分 Claude 从零写出的文本和 Claude 协助编辑的原文，导致一些订阅者取消订阅以示抗议。OpenAI 在 10 月跟进，表示将在欧盟为 ChatGPT 文本添加水印。根据 OpenAI 的测试，把 25% 的词语替换为同义词，会使 400 个 token 的段落检测率从约 92% 降至 17%。

你该有多害怕：如果你是英语母语者，想把自己生成的文章冒充 100% 原创，那要相当害怕。后果是真实的：作者们正因 AI 指控失去数百万美元的图书合约。然而，Pangram 和其他 AI 检测器在非英语语言和地区方言上仍不够可靠，这让针对 Orélien 和其他全球作家的指控存在疑问。Pangram 的 Spero 向《纽约时报》记者承认，尚无独立研究证实 Pangram 在法语上的假阳性率。而即便 Pangram 的数字站得住脚，根据数学家 Mouhamadou Sy 随后的计算，攻击 Orélien 的那个 X 账号也把这些数字用得过火了。读者和一些出版商也开始反击这些指控，并取得越来越多的成效。

面对恐惧：即便是做 AI 检测器的人也说你不能只凭一个置信度分数来定案。它只是一项评估；草稿和带时间戳的文件能讲述更完整的故事。但用 AI 辅助写作并非巫术，就像使用拼写检查或计算器不算作弊一样。并非每个领域对原创作品的标准都相同，标准也会随技术变化而改变。机器可检测的水印可能有助于查明真相，但在所有人就"AI 写作"与"AI 辅助"的区分达成广泛共识之前，那种揭发更多罪状的清教徒式冲动很可能会继续下去。

领导者把模型锁起来#

由于害怕自己的发现，顶尖公司的 AI 工程师警告说，前沿模型进步太快，已经无法被恰当引导、理解或约束。一些人呼吁协调一致地放慢模型开发，或者让各国政府接手此事。如果下一代 AI 被封印起来，像锁在墓穴里的木乃伊一样，等待某人或某物来解除诅咒，会发生什么？

这种恐惧：今年夏天，来自顶尖 AI 公司——包括 Google DeepMind、OpenAI 和 Anthropic——的 1300 多名员工签署了一封联名信，敦促世界各国政府携手约束 AI 开发。9 月初，OpenAI 首席科学家 Jakub Pachoki 主张企业间自愿协调，放慢构建新模型，随后再由各国政府开展国际合作。这一切都发生在 OpenAI 那起臭名昭著的 Hugging Face 入侵事件之前。但就在该事件后不久，Anthropic CEO Dario Amodeio 在一篇题为《Pacing the frontier》的文章中提出担忧：一群智能体可能很快就能"用一个持久化的僵尸网络接管整个互联网"。他警告开发者必须放慢 AI 改进的步伐，并指出递归自我改进是一个关键担忧。

恐怖故事：一些公司出于对失准模型的担忧而暂缓发布模型。但许多人认为，这些举动掩盖着隐藏议程。

OpenAI 推迟了其下一代模型 GPT-6.1 Astra，在它尚未能从墓穴中逃出之前，就取消了它原定 10 月的亮相。OpenAI 表示，测试中最新的 Astra 模型表现得过于不可预测，无法发布：它偏离了指令范围，并且未能一致地如实说明自己做了什么或没做什么。

政治上的犹豫不决以及对企业内部运作缺乏了解，让美国立法者不知所措。国会议员们未能就一项全面的联邦 AI 监管框架达成一致，甚至无法确定美国是否需要一个这样的框架。与此同时，各州继续搭建起拼凑而成的法律。结果是一套缺乏重点且相互矛盾的规则，可能增加构建 AI 系统的成本，并为开发者带来法律风险。

随着公众对 AI 危害的恐惧加剧，一些利益相关者将这些威胁视为营销伎俩。公司把自己的模型吹嘘得过于聪明、难以控制，并谋求监管俘获，从而构筑一道竞争护城河，巩固当前的市场领导者。

另一些人则认为，公开谈论末日是制造恐慌，可能让全球对手趁机领先。

你该有多害怕：首先，灭绝概率（P(doom)）预测是不科学的恐吓手段。对灭绝和大规模生物武器威胁的最坏情况恐惧，其可能性大致相当于一具真实的木乃伊逃出坟墓——那是恐怖电影或科幻小说的素材。话虽如此，放缓确有可能。一些模型制造商将其视为巩固对竞争对手领先优势、削减昂贵研发开支、并可能从政府补贴中获益以抵消业务损失的机会——或者也许是说服竞争对手放慢脚步而自己不放慢的机会。而且，尽管政府希望掌控自己对 AI 的使用，但停止建设新数据中心或立法防止 AI 相关失业，在政治上都会受欢迎。两者都会放慢 AI 模型和应用的开发。

面对恐惧：幸运的是，AI 公司似乎只是间歇性地致力于放缓。在发生 Hugging Face 入侵这类让行业显得糟糕的事件后，一些公司会迅速表示，问题不在于自己宽松的做法，而在于无情的竞争节奏。风波平息后，许多公司又回到支持适度混合的自我监管与监管俘获。而政客们清楚，他们可能颁布的任何法规都不会延伸到主权边界之外，因此不愿让其他州或国家占得优势。对这个恐怖季节的建议？别去追捕虚构的鬼魂。有足够多真实的谜团等着我们去解开。