强化学习持续升温、白宫下令推行强硬 AI 政策，以及更多
本文目录
亲爱的朋友们：
本周围绕 DeepSeek 的热议，让许多人看清了几条一直明明白白地发生着的重要趋势：（i）中国在生成式 AI 上正在追赶美国，这对 AI 供应链有影响；（ii）开放权重模型正在把基础模型层商品化，这为应用构建者创造了机会；（iii）扩大规模并不是通往 AI 进步的唯一道路。尽管算力受到极大关注与炒作，算法创新正在迅速压低训练成本。
大约一周前，总部位于中国的 DeepSeek 发布了 DeepSeek-R1，这是一个非凡的模型，其在基准测试上的表现可与 OpenAI 的 o1 相比。此外，它以开放权重的形式发布，采用宽松的 MIT 许可证。上周在达沃斯，许多非技术背景的商业领袖向我提出了关于它的问题。而周一，股市出现了「DeepSeek 抛售」：英伟达及多家美国科技公司的股价大跌。（截至本文写作时，它们已有所回升。）
以下是我认为 DeepSeek 让许多人意识到的事情：
中国在生成式 AI 上正在追赶美国。 2022 年 11 月 ChatGPT 发布时，美国在生成式 AI 上明显领先中国。印象的改变是缓慢的，所以即使到最近，我听到美国和中国的朋友们都说他们认为中国落后。但实际上，这一差距在过去两年里迅速缩小。凭借 Qwen（我的团队已使用数月）、Kimi、InternVL 和 DeepSeek 等来自中国的模型，中国显然一直在缩小差距，而在视频生成等领域，已经出现过中国似乎领先的时刻。
我很高兴 DeepSeek-R1 以开放权重模型的形式发布，并附有一份披露了许多细节的技术报告。相比之下，一些美国公司通过炒作「人类灭绝」等假想的 AI 危险，推动监管以扼制开源。现在已经很清楚，开源／开放权重模型是 AI 供应链的关键部分：许多公司都会使用它们。如果美国继续阻碍开源，中国将主导供应链的这一部分，许多企业最终会使用那些多得多地体现中国而非美国价值观的模型。
开放权重模型正在把基础模型层商品化。 正如我此前所写，LLM 的 token 价格一直在快速下降，而开放权重推动了这一趋势，并给开发者带来了更多选择。OpenAI 的 o1 每百万输出 token 收费 60 美元；DeepSeek R1 为 2.19 美元。这接近 30 倍的差距，让价格下降的趋势引起了众多人的注意。
训练基础模型并出售 API 访问权是一门艰难的生意。该领域的许多公司仍在寻找收回巨额模型训练成本的路径。《AI 的 6000 亿美元之问》一文很好地阐述了这一挑战（但需要说明的是，我认为基础模型公司做得很好，也希望它们成功）。相比之下，在基础模型之上构建应用则带来许多绝佳的商业机会。既然别人已经花掉数十亿美元训练出这些模型，你只需花几美元就能使用它们，来构建客服聊天机器人、邮件摘要器、AI 医生、法律文件助手，以及更多。
扩大规模并不是通往 AI 进步的唯一道路。 围绕「扩大模型规模是推动进步之道」，一直有大量炒作。平心而论，我本人也是扩大规模的早期支持者。一些公司通过营造这样一种叙事筹集了数十亿美元：有了更多资本，它们就能（i）扩大规模，（ii）可预测地推动改进。因此，人们对扩大规模的关注极大，反而忽视了更细致的视角——即应适当关注我们取得进步的许多不同方式。部分由于美国的 AI 芯片禁运，DeepSeek 团队不得不在许多优化上创新，以便在性能较弱的 H800 而非 H100 GPU 上运行，最终得到一个（不计研究成本）训练算力花费不到 600 万美元的模型。
这是否会真正降低对算力的需求，仍有待观察。有时把某种商品的单位价格降低，反而会使购买该商品的总金额增加。我认为从长期看，对智能与算力的需求实际上没有上限，所以我仍然看涨：即便智能变得更便宜，人类也会使用更多智能。
我在社交媒体上看到对 DeepSeek 进展的各种不同解读，仿佛它是一张罗夏墨迹测验，让许多人把各自的意义投射其上。我认为 DeepSeek-R1 具有尚未明朗的地缘政治影响。它对 AI 应用构建者也是极好的消息。我的团队已经在头脑风暴一些全新的想法——只因我们能轻松获得一个开放的先进推理模型，这些想法才成为可能。这仍然是构建的好时机！
继续学习，
Andrew
来自 DEEPLEARNING.AI 的消息
了解 Anthropic 的新能力——计算机使用（Computer Use）——它让基于 LLM 的智能体能够使用计算机界面。在这门免费课程中，你将学习如何把图像推理与函数调用（function calling）应用于「使用」计算机：模型处理屏幕图像，分析以理解当前情况，并通过鼠标点击与按键来操作计算机。今天就开始吧！
新闻#
强化学习持续升温#
强化学习正逐渐成为构建具备高级推理能力的大语言模型的一条途径。
新内容：近期两个高性能模型——DeepSeek-R1（及其 DeepSeek-R1-Zero 等变体）与 Kimi k1.5——通过强化学习学会了改进其生成的推理过程。o1 去年开创了这一方法。
强化学习（RL）基础：RL 会因模型执行特定动作或达成特定目标而给予奖励或惩罚。与监督学习和无监督学习不同——后者将模型输出与已知的真值进行比较——RL 并不明确告诉模型它应当输出什么。相反，模型一开始表现得随机，并通过为自身行为赢得奖励来发现期望的行为。这使得 RL 在训练玩游戏或控制机器人的机器学习模型时格外流行。
工作原理：为改进大语言模型（LLM）生成的思维链（chain of thought，CoT），强化学习鼓励模型对数学、编程、科学等有已知解的问题生成正确的解答。与典型的 LLM 训练不同——后者模型只是生成输出的下一个 token，并逐 token 获得反馈——该方法奖励模型生成能导向准确结论的一系列推理步骤，即使为此需要在提示与回答之间生成许多中间 token（用来拟提纲、检查结论或反思方法），且没有对「该采取哪些推理步骤」进行显式训练。
DeepSeek 团队发现，仅在预训练之后通过强化学习微调，就足以让 DeepSeek-R1-Zero 学会诸如复查答案之类的问题求解策略。然而，该模型也表现出一些古怪行为，例如在输出中混用不同语言。团队通过在强化学习之前对少量长 CoT 样本进行监督微调，在 DeepSeek-R1 中克服了这些问题。
同样，Kimi k1.5 团队发现，在强化学习之前用长 CoT 对模型微调，能使其自行设计出问题求解策略。所得的长回答被证明更准确，但生成成本也更高，因此团队增加了第二轮强化学习，鼓励模型产出更短的回答。在高级数学问题基准 AIME 2024 上，这一过程将回答的平均 token 数减少了约 20%；在 MATH-500 上，它将平均输出 token 数削减了约 10%。
OpenAI 披露的关于如何训练 o1 的信息有限，但团队成员表示他们使用强化学习来改进模型的思维链。
新闻背后：尽管 RL 一直是训练模型玩游戏与控制机器人的常用技术，但它在 LLM 开发中的作用一直局限于与人类偏好对齐。在直接偏好优化（direct preference optimization）出现之前，用以匹配人类判断的强化学习（基于人类反馈的强化学习，RLHF）或匹配 AI 判断的强化学习（Constitutional AI，使用基于 AI 反馈的强化学习，即 RLAIF），是促使 LLM 与人类偏好对齐的主要方法。
为何重要：强化学习在训练大语言模型进行推理方面具有出人意料的效用。随着研究人员把模型投入更复杂的任务——数学、编程、动画图形等等——强化学习正成为一条重要的进步路径。
我们的看法：不到三年前，强化学习看起来过于挑剔、不值得费这个劲。如今它已成为语言建模的一个关键方向。机器学习依然充满令人惊讶的转折！
计算机使用势头渐起#
OpenAI 推出了一款代表用户执行简单网页任务的 AI 智能体。
新内容：Operator 在 ChatGPT 内部一个类似浏览器的环境中浏览网站，从而自动化网购、订票、填写表单等在线操作。它以研究预览的形式在桌面端提供，面向 ChatGPT Pro 订阅用户（每月 200 美元）。OpenAI 承诺将扩大可用范围，并将提供底层模型的 API 访问，以及更强的协调多步骤任务的能力，例如跨不同厂商的日历安排会议。
工作原理：Operator 使用一个名为计算机使用智能体（Computer-Using Agent，CUA）的新模型，它接受文本输入并以网页操作作为回应。
用户在 ChatGPT 中输入指令。CUA 把这些输入转换为结构化指令，并通过直接与按钮、菜单、文本框等网页元素交互来执行。OpenAI 未披露 CUA 的架构或训练方法，但表示它通过强化学习在模拟与真实浏览场景上进行了训练。
在 OpenAI 进行的测试中，CUA 在某些指标上获得了高分。在评估网页任务的 WebVoyager 上，CUA 的成功率为 87%。在评估多模态智能体执行涉及真实网页与桌面应用的复杂任务能力的基准 OSWorld 上，CUA 的成功率为 38.1%。在 Kura 与 Anthropic 分别进行的测试中，WebVoyager 上 Kura 达到 87%，DeepMind 的 Mariner 达到 83.5%；OSWorld 上，配备 Computer Use 的 Claude Sonnet 3.5 达到 22%。
Operator 被限制与未经验证的网站交互，也不得在未经用户同意的情况下共享敏感数据。它提供内容过滤，另有一个独立的模型实时监控 Operator，并在出现可疑行为时暂停该智能体。
新闻背后：Operator 乘上了旨在自动化日常任务的一波智能体浪潮。上周，OpenAI 推出了 ChatGPT Tasks，让用户可以安排提醒与通知，但不支持网页交互。（早期用户抱怨 Tasks 有不少 bug，且需要过于精确的指令。）Anthropic 的 Computer Use 侧重于基本桌面自动化，而 DeepMind 的 Project Mariner 是基于 Gemini 2.0 构建的网页浏览助手。Perplexity Assistant 则自动化移动应用，例如在 Android 手机上叫 Uber。
为何重要：在早期报道中，用户表示 Operator 有时不如人类执行同样的任务高效。尽管如此，智能体式 AI 正在进入消费市场，而 Operator 有望让许多人第一次体验它。它旨在为无穷无尽的个人与商业用途提供 AI 协助，而且——正如 ChatGPT 对其他 LLM 开发者那样——它必然会成为下一代产品的模板。
我们的看法：计算机使用正在成熟，其势头清晰可感。AI 开发者应当把它纳入工具箱。
白宫下令推行强硬 AI 政策#
在新总统的领导下，美国逆转了其 AI 监管路线，试图通过减少限制来谋求全球主导地位。
新内容：上周就职的特朗普总统签署了一项行政命令，设定 180 天的期限来起草一份「AI 行动计划」（AI Action Plan）。该命令旨在提升国家安全、经济竞争力以及美国在人工智能领域的领导地位。
工作原理：该行政命令把起草 AI 行动计划的责任交给政府中的三位关键人物：总统科技助理 Michael Kratsios（Scale AI 前董事总经理）；风险投资人、新任 AI 与加密货币特别顾问 David Sacks；以及国家安全顾问 Michael Waltz。
AI 行动计划必须「维持并增强美国在全球 AI 中的主导地位，以促进人类繁荣、经济竞争力与国家安全」。
该命令指示各机构负责人暂停或废除在拜登总统 2023 年行政命令下制定的政策（该命令已被特朗普总统撤销），这些政策可能与推进美国 AI 主导地位和国家安全相冲突。
多数条款给负责起草行动计划的团队留下了很大的自由裁量权，使其解释与执行具有开放性。
AI 基础设施建设：与行政命令同时，特朗普总统宣布了 Stargate——一个由 OpenAI、Oracle 与软银参与的合资项目。三家公司提出了投资 1,000 亿美元建设 AI 计算基础设施（例如下一代数据中心）的计划，并在四年内投入 5,000 亿美元。此外，政府就美国能源供应宣布了国家能源紧急状态，并发布命令以提升国内能源生产。这些措施旨在通过消除在联邦土地上建设石油、天然气与可再生能源项目的监管障碍，来支持 Stargate 这类能源密集的 AI 计划。
为何重要：特朗普政府称，拜登 2023 年的监管「繁重且不必要」，扼杀了创新，并危及美国在 AI 领域的领导地位。新命令减少了对 AI 开发的官僚式监督，营造出更宽松的监管环境（意识形态偏见问题除外）。
我们的看法：拜登政府 2023 年的行政命令旨在防范假想的而非实际的 AI 风险。它以训练模型所用的处理量阈值作为风险衡量——这是一个考虑不周的替代指标。平心而论，美国国家标准与技术研究院下属的 AI 安全研究所并未像一些人担心的那样阻碍 AI 进展，但总体而言，该命令对 AI 创新或安全都没有帮助。我们高兴地看到新政府把重点放在 AI 进步而非假想风险上。
微调的细节要点#
在合成数据上微调模型的做法正日益成熟。但合成训练数据即便很好地代表了训练任务，也可能含有毒性等特征，从而给训练后模型的输出带来不受欢迎的属性；同时，它对目标输出长度这类期望特征的表征也可能不一致。研究人员开发了一种方法，可减少生成数据中的某些方面，同时保留期望的方面。
新内容：Cohere 的 Luísa Shimabucoro 及同事提出了「主动继承」（active inheritance）——一种自动挑选具备期望特征的合成训练样本的微调方法。
核心洞见：生成合成微调数据的一种朴素做法是：把提示词喂给模型，收集其输出，并把它作为微调集。但合成数据很便宜，所以我们完全有条件更挑剔一些。对每个提示生成若干条回答，我们就能挑选最符合目的的那一条。
工作原理：作者把 Llama 2 7B 与 Mixtral 8x7B 以各种组合分别用作教师与学生。他们用来自 Alpaca 数据集的 52,000 条提示词对模型进行提示，并用自动化方法评估其输出在社会偏见、毒性、词数、词汇多样性以及校准度（模型估计的概率与其准确率的吻合程度）等特征上的表现。
作者为每条提示生成了 10 条回答。
对每条回答，他们依据 StereoSet、CrowS-Pairs 与偏见问答基准（Bias Benchmark for Question-Answering）测量社会偏见，依据 Perspective API 与他们自己的代码测量毒性，依据 HELM 测量校准度，并使用 TextDescriptives 计算与文本相关的指标。
他们分别在以下三类数据上微调了不同的模型：（i）初始回答；（ii）为每条提示随机选出的 1 条回答；（iii）为每条提示选出的、最能最大化某项期望特征的回答。
结果：与使用初始输出或随机选择输出相比，在针对某项特征的最佳回答上微调，能改善模型在该特征上的表现。
作者的方法帮助 Mixtral 8x7B 生成毒性更低的回答。例如，微调前，该模型的期望最大毒性为 65.2（越低越好）。在用 Llama 2 7B 生成的最低毒性回答微调之后，Mixtral 8x7B 的期望最大毒性降至 43.2。相反，在用 Llama 2 7B 生成的随机回答微调之后，其期望最大毒性升至 70.3。
该方法也帮助 Llama 2 7B 降低了毒性。微调前，该模型的期望最大毒性为 71.7。在用自身毒性最低的回答微调之后，期望最大毒性降至 50.7。而用随机回答微调，其期望最大毒性下降幅度较小，为 68.1。
在考察该方法对更常规性能指标的影响时，用最低毒性回答微调与用随机回答微调在七个基准上的效果大致相同。用自身毒性最低的回答微调 Llama 2 7B，使其平均准确率从 59.97% 提升到 60.22%；而用随机回答微调，则使其平均准确率从 59.97% 提升到 61.05%。
然而，该过程在某些情况下会降低性能。用 Llama 2 7B 毒性最低的回答微调 Mixtral-8x7B，使其在七个问答与常识推理基准上的平均准确率从 70.24% 降至 67.48%。而用 Llama 2 7B 的随机回答微调，则使其平均准确率从 70.24% 降至 65.64%。
为何重要：在合成数据上训练正变得越来越普遍。尽管它展现出巨大前景，数据生成的最佳实践仍在形成之中。作者的方法通过自动引导模型生成更符合期望的回答、减少负面特征并强化正面特征，提供了帮助。
我们的看法：知识蒸馏近来催生了能力更强、更紧凑的模型。这一方法为该项技术增添了精细控制的杠杆。
订阅 The Batch
每周获取 AI 新闻与洞见，直送你的收件箱
选择你的方案
需要更多用户？
团队方案
了解更多 · 保持当前方案