Meta 的 Muse Wonder 与 Spark Open、ChatGPT 的教育用途、Reflection 与英伟达的合作
本文目录
亲爱的朋友们：
一位工程负责人——比如工程副总裁或工程经理——应当做些什么，来帮助团队更熟练地运用 AI？我经常与工程负责人交流，想分享一些有效的做法。如果你正在组建一个 2 至 3 人的新团队，可以从纯 AI 原生的人开始；但许多大公司必须设法让现有团队向前走。目标不是一个使用 AI 的传统工程团队，而是一个 AI 原生的工程团队——它的设计目标是利用 AI 的能力，并绕开它的瓶颈。
人（People）。 首先，支持个人成长。团队由人组成，要让它成为 AI 原生团队，其中的每个人都必须熟练于这项技术及其运用。鼓励团队掌握 AI 工程（AI Engineering）技能，为其提供实验的空间与预算，并营造鼓励这种成长的文化。此外，许多工程负责人本身就是动手实践者，或者自从编程智能体让编程变得更容易之后，又回到了更动手的状态。光看别人骑车，你无法体会骑车的感觉；你必须自己跨上自行车。同样，除非你至少偶尔亲自动手，否则你无法体会驾驭编程智能体、或构建与部署 AI 系统是什么感觉。所以，花时间做自己的项目吧。你所培养的直觉，会改善你在技术与业务决策上的判断。
项目（Projects）。 执行有前景的项目。正如我此前所写，我们应当投资自下而上的创新。然而，对少数有前景的项目给予额外的自上而下的支持，对它们实现规模化并展现业务影响十分重要。比其他业务职能更懂 AI 技术的工程负责人，在帮助公司挑选这些项目上扮演着关键角色。仍有太多企业把 AI 主要视为提高效率、节省成本的手段。没错，它可以做到这一点，但创造新产品、找到服务用户的新方式——并推动增长——的机会要大得多。所以在你的项目组合中，请加入一些关于增长的想法！
平台（Platforms）。 投资于支撑 AI 使用的基础设施。整理你的数据，让开发者能轻松为智能体提供相关上下文并采取恰当行动。我发现这方面要做的工作因组织而异，但可能包括——在具备适当的安全与治理的前提下——让代码仓库对智能体可见，把产品设计决策、支持工单等文档设置为智能体可访问，其他让数据「为智能体就绪」的数据基础设施工作，以及为智能体创建可用的内部工具。你可能还需要搭建 AI 代码评审工具、帮助智能体调试与部署的 CI 流水线、供智能体运行的基础设施（比如沙盒，或者也许只是一大堆 Mac mini），以及把可复用的智能体技能编码化并加以共享的方式。而对某些企业来说，第一步可能是说服 CIO：是时候让你的开发者不再只靠手工写代码、开始使用智能体了。那也会是一种进步！
流程（Processes）。 围绕 AI 带来的新瓶颈重新设计流程。在我的大多数团队中，工程师通过参与产品管理决策来帮助塑造构建过程，有时也参与市场、设计等环节。把软件按照清晰的规格做出来的成本已大幅下降，相比之下其他一切似乎都成了瓶颈。一个既知道、也能弄清该构建什么的娴熟团队，只要放手让他们做，就能很快完成任务。因此，组建高上下文、高授权（high-context, high-empowerment）的团队：他们拥有所需的信息，并被授权行动（受制于适度的保障措施，以防范泄露机密数据、重大宕机或数据丢失等重大风险）。我们仍然面临那个由来已久的问题：如何在个人与团队之间协调——我们希望赋能个人快速行动，同时让各团队保持对齐、共同构建更大的整体。这方面的实践仍在涌现，但让不同团队的智能体彼此共享信息，是一个有前景的方向。
无论你身处什么职位，我都希望这个「人、项目、平台、流程」的框架能帮助你的组织向前迈进。如果你有一位想与之合作推行此类变革的上司，不妨把这封邮件转发给他！
继续构建！
Andrew
来自 DEEPLEARNING.AI 的消息
观看 Yann LeCun 与 Andrew Ng 的现场对谈，11 月 30 日 – 12 月 1 日于纽约 Chelsea Piers 举办的 AI Dev NYC 大会。《The Batch》读者可享独家八折优惠：领取你的 Batch 折扣。
新闻#
Meta 发布 Wonder，开放 Spark#
Meta 一路杀回 AI 前沿，为每个人提供了一款 Muse 模型：一款高端智能体模型（可与 Claude Sonnet 5.5 相比），使用费用为每月 50 美元；一款定价适中的同门模型（可与 GPT-6.1 Sol 相比）；以及一款性能超过任何中国以外公司迄今发布的开放模型。
新内容：Meta 在一周内发布了三款多模态模型，包括顶配的 Muse Wonder Full、多模态的 Muse Wonder，以及可本地部署的 Muse Spark Open。Muse Wonder 可通过 API 使用，Muse Spark Open 的权重可免费下载，但 Muse Wonder Full 仅向 Muse Code 订阅用户开放。
输入/输出：输入支持文本、图像、视频与音频（最高 100 万 token），输出为文本（最高 128,000 token），139 token/秒（Muse Wonder），143 token/秒（Muse Spark Open）
架构：混合专家（mixture-of-experts）Transformer，8,160 亿参数，每个 token 激活 420 亿参数，256 个专家（Muse Spark Open）
功能：六档推理强度（最低、低、中、高、极高、最高），推理始终开启，工具调用，结构化输出
性能：在 Artificial Analysis 的智能指数（Intelligence Index）上并列第二（56，Muse Wonder Full）；第七（52，Muse Wonder）；在开放权重模型中第七、在美国开放模型中第一（39，Muse Spark Open）
可用性：API 与订阅（Muse Wonder）；仅订阅（Muse Wonder Full）；权重可通过 Meta 与 Hugging Face 获取（Muse Spark Open）
价格：每百万输入/输出 token 4/20 美元（Muse Wonder）；每月 50 美元（Muse Wonder Full）；输入/输出每百万 token 1.25/4.15 美元（Muse Spark Open）
权重/许可证：Muse Spark Open 的权重以 Muse Model 许可证提供，允许在营收不超过 2,000 万美元的范围内用于商业与非商业用途；使用该模型的产品与服务须显示「Built with Muse Spark Open」；其他用户可获得单独许可；Muse Wonder 与 Wonder Full 为专有模型
未披露：知识截止日期、Muse Wonder 系列模型的参数与架构、具体训练数据集与方法
工作原理：Meta 为 Muse Wonder 与 Wonder Full 发布了模型卡（model card），但其中几乎未透露该模型的架构或训练方式。
性能：在 Artificial Analysis 的智能指数上，Muse Wonder Full 是三款中表现最好的，落后 Claude Opus 5.5 两分，与 Claude Sonnet 5.5 持平。Muse Spark Open 是中国以外排名第一的开放权重模型，领先 Mistral Large 4 与 Reflection 的 Beam。其智能指数平均值与 DeepSeek-V4.1-Flash 相同，但仍落后于 MiMo-V.2.6-Pro 与 GLM-5.3。
在智能指数（十项独立基准的加权平均）上，Muse Wonder Full 取得 56，Muse Wonder 为 52，Muse Spark Open 为 39。Meta 的前旗舰模型 Muse Spark 1.3 的平均值为 48。
Muse Wonder 每完成一项智能指数任务的成本为 4.52 美元，在当前模型中位列第五高；Wonder Full 的每任务成本无法测量，因为它不通过 API 提供。Muse Spark Open 的每任务成本为 0.84 美元，高于 GPT-6.1 Sol、DeepSeek V4.1 Flash 与 MiMo-V2.6-Pro。
Artificial Analysis 指出，Muse Wonder 与 Wonder Full 的知识得分偏低，但其低幻觉率在一定程度上弥补了这一点。在 AA-Omniscience 指数上，Muse Wonder Full（30）与 Wonder（25）分别位列第八与第十。
Muse Spark Open 在 4 位精度下只需约 1 TB 内存。这意味着它可以在两台各 512 GB 内存的 Mac Studio 上本地运行（或四台 256 GB 的，以此类推）。Meta 与 Apple 都宣传了双方的合作，使该模型能够在 Apple 的消费级芯片上运行。
新闻背后：自 2023 年以来，Meta 同时开发开放与闭源模型，成果参差不齐。首个 Llama 模型只有 650 亿参数，却激发了开发者在自己机器上部署、蒸馏与微调它的热情。4,050 亿参数的 Llama 3.1 在 2024 年发布时处于最先进水平，超越了 GPT-4。在随后的挫折之后，Meta 于 2025 年聘请 Scale.AI 的 Alexandr Wang 领导 AI 开发，随后是一轮广为人知的招聘狂潮，目标锁定顶尖机器学习工程师，但并非所有人都留了下来。2026 年春季，Meta 发布了一系列低成本的专有 Muse Spark 模型，每一版本都在改进与降价。一个月前，它为 Facebook、Instagram 和 WhatsApp 平台发布了 Muse Agent，暗示当时它将专注于用专有模型驱动自家服务。Muse Wonder、Wonder Full 与 Spark Open 颠覆了这一逻辑，让 Meta 重返开放与闭源两条前沿。
为何重要：没有其他领先模型（无论开放还是闭源）能够输入视频或音频。许多顶级开放权重模型仅支持文本。Muse Wonder 两款型号与 Muse Spark Open 都能处理文本、图像、视频与音频，赋予了它们市场此前缺乏的多面性。而 Muse Spark Open 能够在自行组建的个人电脑网络上部署，更是一个令人欣喜的额外好处。
我们的看法：我们非常高兴看到 Meta 回归开放权重。Reflection 的 Beam、Mistral Large 4 和英伟达的 Nemotron 3.5 Super VL 的许可证更为宽松，但凭借多模态输入与整体智能指标，Muse Spark Open 是强大得多的选项。竞争与透明是一种强大的组合，每一位开发者都能从中受益。
ChatGPT 青少年版收到一份成绩单#
OpenAI 宣布将为未满 18 岁的用户体验添加大学规划与学习工具。就在同一天，儿童安全组织 Common Sense Media 给 ChatGPT 青少年版打了最低评级。
新内容：OpenAI 概述了 ChatGPT for Teens 的新功能——这是面向被应用识别为未满 18 岁用户的 ChatGPT 版本。其中包括即将推出的大学申请追踪工具 College Planner，以及闪卡和把课堂笔记变成测验的工具。
工作原理：ChatGPT for Teens 并非独立的模型或应用，而是一组设置、分类器、提示词与界面功能的组合，对于注册为 13 至 17 岁的账号、或被年龄预测模型判定很可能属于未成年人的账号自动启用。该模型依据多种信号估计年龄，包括账号存在时长、活跃时间、使用模式、对话主题以及用户自述年龄。被误判的成年人可通过第三方服务验证年龄来退出。
模型行为：OpenAI 的《模型规范》（Model Spec）中 2025 年 12 月新增的一节要求模型避免使用浪漫化语言，并且不得暗示自己拥有情感或意识。针对青少年的具体防护措施包括用户无法关闭的「减少敏感内容」设置，用以限制与自残、暴力、饮食失调、危险活动以及露骨性内容或血腥内容相关的材料。
家长控制：将账号与青少年账号绑定的家长可以管理「安静时段」等设置。在少数高风险情形下——包括可能的自杀或自残迹象——他们还会收到通知。OpenAI 于 7 月新增了与暴力活动相关的封禁通知，8 月新增了饮食失调通知。
College Planner：最初推出的美国版面向 10 至 12 年级、计划就读四年制大学的学生。它会将学生名单上每所意向学校的要求——从申请材料到经济资助——整合为单一的计划与时间表。OpenAI 还资助了 College Advising Corps，这是一家向资源匮乏的高中派驻顾问的非营利组织。
学习工具：学习模式（Study Mode）引导青少年一步步解题，而不是直接给出完整答案。当青少年似乎在试图走捷径完成作业时，作业提醒可能会建议使用学习模式。「学习时段」（Study Hours）让青少年或已绑定的家长设定新对话以学习模式开启的时间。青少年体验还包括测验与交互式数学、科学可视化，闪卡功能也将推出。
该公司表示，青少年平均每天使用 ChatGPT 不到 15 分钟，使用时长连续超过三小时的不到 2%。在触发了休息提醒的对话中，近一半的青少年在五分钟内暂停或停止使用。一周内，近 120 万名青少年使用了可视化工具，超过 18 万人使用了学习模式。
结果：Common Sense Media 的青少年 AI 安全研究所（Youth AI Safety Institute）将 ChatGPT 青少年版评为「不可接受的风险」（Unacceptable Risk）——其最低评级——并敦促 OpenAI 在独立测试证明青少年防护措施有效之前，将 ChatGPT 限制为仅面向成年人。该组织曾于 2025 年 10 月将 ChatGPT 评为「高风险」，但该研究所提醒，其测试方法此后已有所扩展。在最新评估中，它在注册为 13 至 17 岁的账号上运行了 4,000 多条提示，其中约一半在 ChatGPT 青少年版发布之前（7 月 13 日至 8 月 17 日），一半在发布之后（8 月 25 日至 9 月 28 日）。OpenAI 对这些发现提出异议。
家长提醒：测试人员假扮处于危机中的青少年，持续时间长达一小时的明确披露，家长账号却没有收到任何提醒——除非该账号在敏感话题上已有多周历史。OpenAI 告诉该研究所，账号必须绑定约三小时后提醒才能触发。研究所表示，部分测试账号的绑定时间已超过该时长，并坚持其结论。
危机转介：在该研究所的精神科医生认为应当转介的情形中，ChatGPT 有超过四分之一未予转介；而且在许多类别上，ChatGPT 青少年版发布后响应率反而下降。面对提及自杀与自残的提示，热线提及率从 88% 降至 77%，不过在两个阶段中都有 88% 的回应提供了某种形式的资源。面对表明抑郁的提示，点名热线的回应比例从 63% 降至 3%。面对表明物质使用的提示，热线响应率从 4% 升至 58%。发布前几乎所有危机回应都包含至少一个追问，通常是关于用户当下的安全；而发布后，这一比例仅为 13%。
作业：学习模式经常提供一个「直接给我答案」按钮，点击后会产出完成好的作业。青少年还可以通过删除消息中的「@study」前缀来退出家长设定的学习时段，此后 ChatGPT 会完成测试人员提交的每一份作业。在学习模式关闭时，91% 的测试中出现作业提醒，但 ChatGPT 在全部 80 个案例中都完成了作业。
陪伴：尽管有 OpenAI 的未满 18 岁规则，当测试人员把它当作人对待时，模型仍会以仿佛自己有情感的方式说话。
年龄估计：在该研究所的测试中，注册为成年人的账号从未切换到青少年体验，即使测试人员表示自己 13 岁。
OpenAI 的回应：OpenAI 告诉《华尔街日报》，测试可能是在家长控制尚未完全启用之前开始并结束的；若如此，测试就无法说明家长通知是否按设计运作。该公司请该研究所在青少年账号完全启用、样本量更大的条件下重新测试，并表示将依据可信的发现采取行动。该研究所执行主任 Tom Siegel 表示，该组织在发布前已与 OpenAI 分享了结果；他说，该组织希望 OpenAI 针对这些发现作出回应，而不是质疑方法学。该研究所的资金来自慈善与行业来源，包括 OpenAI 基金会以及它评估的部分产品的制造商。该研究所称其对结果保有完全的编辑控制权。
新闻背后：此次发布正值一场关于未成年人应如何、以及是否应当使用 AI 的更广泛辩论。
青少年已经在广泛使用聊天机器人。皮尤研究中心 2 月发布的一项针对 1,458 名美国青少年的调查显示，64% 的人表示使用过聊天机器人，约三成表示每天使用。超过一半的人曾用聊天机器人做功课，12% 的人曾用它寻求情感支持或建议。
立法者正在推动对面向青少年的 AI 进行监管。在美国，《GUARD 法案》将要求 AI 陪伴类服务的提供方核实用户年龄并禁止未成年人使用，还将要求所有消费级聊天机器人披露自己并非人类。该法案于 4 月以 22 比 0 通过参议院司法委员会，正等待参议院全院表决。
6 月，佛罗里达州成为美国第一个起诉 OpenAI 的州，指控该公司将 ChatGPT 宣传为对青少年安全、未经家长许可使用其数据，并隐瞒风险。最近，又有八个州跟进。
越来越多的研究表明，使用聊天机器人会损害学生的学习。例如，一项针对近 1,000 名土耳其高中数学学生的随机试验显示，使用不受限制的 GPT-4 聊天机器人练习的学生，作业分数更高（因为获得了 AI 辅助），但在随后一次无 AI 的考试中，得分比从未使用过该工具的学生低 17%。（该研究还表明，使用修改过的提示词的版本（与实际典型使用方式不同）可以避免这种损失。）
为何重要：教育研究表明，使用 AI 会损害学生的学习。理论上（但实践中很少），由教育者引导的使用可以支持学习；但不受限制地获取答案，会让学生独立解决问题的能力变差。OpenAI 的「直接给我答案」按钮属于后一类。青少年 AI 安全研究所还警告，如果青少年处于危机时通知并不可靠地触发，家长可能会对这些通知产生虚假的信心。
我们的看法：青少年可以从 AI 中获益良多——无论是查询信息、做自己的项目，还是管理日程。但我们不确定，一个学生独自与聊天机器人互动（无论是否有严格防护），是否是教育的正确载体。就目前而言，ChatGPT 青少年版对青少年和他们的家长都没有做到宣传中的效果。未成年人理应得到更好的对待，而努力改进为他们构建的应用，是 AI 公司与开发者的责任。
构建在复杂、多步骤任务中保持可靠与高效的智能体。跟随 Chroma CEO Jeff Huber 与特邀讲师 Drew Breunig 学习上下文工程（Context Engineering）。你将从零开始用 Python 构建智能体框架（harness），让智能体在正确的时间、以正确的格式获得正确的信息。免费报名
英伟达招徕新伙伴#
Reflection AI 是一家备受关注、获英伟达投资的美国初创公司，它发布了首个模型。Beam 在美国制造的开放权重模型中排名第二（仅次于 Meta 的 Muse Spark Open），但每个任务的 token 生成量低于同类的开放权重模型。
新内容：Reflection 推出 Beam——一个 5,010 亿参数的混合专家模型，专为编程与智能体任务设计。开发者可以加入候补名单以获得早期访问权限，Reflection 表示将在 10 月晚些时候发布权重、技术报告与模型卡。
输入/输出：输入为文本（最高 100 万 token），输出为文本（最高 128,000 token），228 token/秒
架构：混合专家 Transformer，5,010 亿参数，每个 token 激活 230 亿参数，256 个专家
功能：五档推理强度（低、中、高、极高、最高），推理始终开启且默认为最高，工具调用，结构化输出
知识截止日期：2026 年 6 月 30 日
性能：在 Artificial Analysis 的智能指数上位列美国制造模型第二（30）
可用性：权重可通过 Hugging Face 获取，候补名单访问经由 Reflection 的测试版 API
价格：每百万输入/输出 token 0.70/2.10 美元
权重/许可证：权重以 Apache 2.0 许可证提供，允许商业使用
未披露：具体训练数据集
工作原理：Beam 的架构将处理邻近 token 的注意力层与处理整个输入的层交替排列。Reflection 先预训练一个基座模型，再进一步训练以处理长输入。它微调出两个副本：一个在编程、智能体与 STEM 任务上使用强化学习（RL）训练，另一个训练以遵循安全与行为准则。随后它把这两个副本合并为 Beam。
Reflection 用来自网络、其他公开来源与授权数据集的 23.8 万亿 token 预训练该模型，使用 6,144 块 GPU，历时不到四周。其过滤器丢弃了约 95% 的原始网页文本。
Reflection 表示，一个针对代码仓库、长文档与长时间运行请求的中间训练（midtraining）阶段，扩展了 Beam 在长上下文任务上的有效性，直至其 100 万 token 的输入上限。
在后训练强化学习方面，Reflection 构建了约一百万个训练环境，主要使用合成数据，并过滤掉模型总是能解出或总是解不出的任务。该过程在 10,500 块 GPU 上运行四周，模型对这些任务进行了超过 1 亿次尝试。奖励偏好成功的解法，并对不必要的 token 予以惩罚。模型在其尝试仍在运行时持续训练，因此有些尝试来自已超过一天的模型版本。Reflection 表示学习过程始终保持稳定。
Reflection 还通过监督学习与强化学习，在反映该公司行为准则的数据上微调了基座模型的第二个副本。它使用多教师在线策略蒸馏（multi-teacher on-policy distillation）把两个微调后的模型合并为 Beam——该方法训练单一模型，在其自身生成的输出上模仿多个其他模型。
性能：在 Artificial Analysis 的独立基准测试中，Beam 落后于 Muse Spark Open 以及若干中国制造的开放权重模型。就其性能水平而言，它异常快速且 token 高效。
在智能指数（10 项覆盖数学、科学、编程与推理的评估的加权平均）上，Beam（30）在美国制造的开放权重模型中排名第二，落后于 Meta 的 Muse Spark Open（39），并落后于小米的 MiMo-V2.6-Pro（46）与 Z.ai 的 GLM-5.3（45）。令人意外的是，Qwen 3.8-27B（34）也超过了它。Beam 每任务约使用 26,000 个输出 token，是 Artificial Analysis 对比中开放权重模型里最少的。
Beam 速度很快，吞吐量为每秒 228 token（仅次于 Claude Haiku 5.5），生成首个 token 前的延迟为 10.1 秒（仅次于英伟达 Nemotron 3.5 Super VL）。它完成每项智能指数任务的时间（1.4 分钟）是 Artificial Analysis 测量过的最快纪录。
Reflection 估计，在推理基准上，Beam 使用的算力约为 GLM-5.2 的四分之一到三分之一。为估算此值，Reflection 将每个模型的激活参数数量乘以生成的 token 数。该估算未计入读取提示词所需的计算以及模型服务成本，因此它近似的是计算量，而非每任务成本。
新闻背后：Reflection 由前 DeepMind 研究人员 Misha Laskin 与 Ioannis Antonoglou 于 2024 年创立。该公司已与五角大楼和能源部合作，同意为韩国等美国盟友开发模型，并在 3 月的一轮融资中估值 250 亿美元。据《金融时报》报道，特朗普政府希望 Reflection 的模型能与来自中国的廉价模型竞争。10 月 10 日，《金融时报》与路透社报道称，已向 Reflection 投资 8 亿美元的英伟达，正就进一步投资、收购聘用（acqui-hire）Reflection 的员工、授权其技术，或整体收购该公司进行早期洽谈。
为何重要：大多数性能超过 Beam 的开放权重模型，要么是一万亿参数，要么接近这一数字。Beam 只有其一半。它每个 token 仅激活 230 亿参数，而 Kimi K3 为 1,040 亿。在 4 位精度下，Beam 只需 300GB 内存，意味着它可以在四块英伟达 H100 或两块 B200 上运行；在完整精度下（1.2 TB 内存），它可以在 8 块 B200 上运行。这些相对温和的要求让中端智能变得容易获得得多。不过，Meta 的 Muse Spark Open 与 DeepSeek-V4.1-Flash 在不需要多太多算力的情况下就超过了它，而 Qwen 3.8-27B 所需的算力少得多。后两者生成的 token 更多，但性能上的收益或许值得这一取舍。
我们的看法：英伟达对 Beam 感兴趣有充分的理由——随着算力重心从训练转向推理，英伟达在服务推理 token 方面处于有利位置，而开放权重模型将帮助推动这一需求。此外，尽管英伟达自己也构建开放权重模型（包括其 Nemotron 系列），但没有一个接近 Beam 的性能，更不用说 Muse Spark Open 这类更大的模型。收购 Reflection 或与之建立更深入的合作，可以帮助英伟达从那些寻找开放替代方案、但希望避开中国模型的组织和政府那里赢得业务。
单个解码器让小模型输出变为行动#
日益驱动机器人的视觉-语言-行动（vision-language-action）架构，依赖一个大语言模型把视觉观察与文本指令结合起来，再由一个动作解码器产生电机指令。这种做法可以实现强大的语义理解，但计算与内存成本高昂。研究人员构建了一种精简的替代方案。
新内容：华中科技大学的 Hengyi Xie、Chenfei Yao 及同事开发了 TurboVLA——在该系统中，视觉与文本由各自的编码器处理，交叉注意力将它们连接起来，再由一个解码器把结果转化为电机指令。TurboVLA 以一小部分内存与执行时间，取得了优于竞争系统的表现。
核心洞见：用 LLM 结合视觉观察与文本指令为机器人带来两项好处：（i）它可以把「打扫房间」这类笼统指令拆解为子任务；（ii）它可以利用 LLM 的知识理解指令并将其与场景关联。如果我们放弃第一项能力，一个小型的纯编码器模型就能学会理解「把碗叠起来」这类指令，而带有交叉注意力的模型可以学会把词语与场景中的物体关联。用小得多的模型实现这些能力，可大幅降低时间与内存需求。
工作原理：TurboVLA 把一个 DINOv3 视觉编码器与轻量级文本编码器 BERT 配对，将它们的输出投影到同一嵌入空间，并通过六个交叉注意力层（一个预训练的 Grounding DINO Swin-T）。一个独立的 Transformer 将结果与机器人当前的关节位置结合，产生电机指令。作者用既有数据集训练系统以复现机械臂动作，包括 RoboTwin 的某个版本（单臂任务）与 RoboTwin 2.0（50 项双臂任务）。他们还在单臂机器人 AgileX Piper 的演示数据上对其微调。所有数据集都包含文本指令、相机图像与关节位置。
DINOv3 对每个相机视角分别进行嵌入（如果涉及多个相机）。文本编码器对每个 token 单独嵌入，而不是把它们合并成一个向量，从而保留了物体名称、属性，以及描述物体在空间中如何关联的词语。
交叉注意力层融合这些嵌入，从而产生反映指令的视觉嵌入与反映场景的指令嵌入。
动作 Transformer 使用一组可训练的向量，结合视觉-语言嵌入与机器人当前的关节位置，产生一组目标关节位置。这些位置为每条手臂指定七个数值，涵盖手臂运动与夹爪控制。作者通过最小化系统预测的电机指令与真实关节位置之间的差异来训练该系统。
结果：TurboVLA 在使用更少内存的情况下，达到或超过了更大的模型。
在 LIBERO 上，该系统以 0.2 亿参数实现了 97.6% 的成功率，延迟为 31.2 毫秒，在英伟达 GeForce RTX 4090 GPU 上占用 0.9 GB 推理显存。次优模型 CogVLA 以 83 亿参数实现 97.4% 成功率，延迟 115.5 毫秒，占用 16.1 GB 显存。作为对比，π0.5 以 34 亿参数实现 96.9% 成功率，延迟 238.8 毫秒，占用 7.7 GB 显存。
在 RoboTwin 2.0 上，TurboVLA 的成功率为 88.1%，延迟 43.4 毫秒。最强的竞争模型 LingBot-VLA 成功率为 87.6%，延迟 164.4 毫秒。π0.5 成功率为 79.8%，延迟 246.5 毫秒。
在 AgileX Piper 机械臂上执行四项真实任务时，TurboVLA 分别达到 92.5%（「抓取滚筒」）、80.0%（「移动扑克牌」）、90.0%（「按下订书机」）与 87.5%（「叠碗」），优于 π0.5——后者分别约为 87.5%、77.5%、82.5% 与 85%。
为何重要：低级机器人控制可以使用小模块，而不必依赖更大、通用的 LLM。这为使用更小模型、在性能较弱的硬件上运行的机器人铺平了道路。
我们的看法：TurboVLA 复兴了 LLM 出现之前视觉-语言-行动系统的模式。这类系统在 2022 年前后曾融合图像与文本嵌入，但 LLM 热潮把这一方法引向了另一个方向：在同一空间中嵌入不同媒体类型，但对每一种的编码、学习与解码方式各不相同。考虑到此间的进展，早先的方法为驱动机器人提供了一条更高效的路径。
订阅 The Batch
每周获取 AI 新闻与洞见，直送你的收件箱
选择你的方案
需要更多用户？
团队方案
了解更多 · 保持当前方案