NVIDIA 全新 Cosmos 3 开放模型：面向交互式世界模拟
本文目录
作者：Pranjali Joshi、Rick Z、Yao Xu、Qianli Ma、Chen-Hsuan Lin、Ming-Yu Liu、Xiang Li、Zhengfei Kuang、Zhonghao Wang、kiui
发布于 2026 年 11 月 5 日
摘要（TL;DR）#
NVIDIA Cosmos 世界模型开发平台为其 Cosmos 3 模型家族新增了四个开放权重检查点，用于生成交互式世界模拟以及多传感器、多视角的驾驶场景：
- 🌦️ Cosmos3-Nano-Transfer-Auto：生成具有不同天气、光照和一天中不同时段的多视角驾驶数据。
- 🚗 Cosmos3-Nano-Sim-Auto：为驾驶模拟流式输出同步的相机与激光雷达观测。
- 🎨 Cosmos3-Nano-Sim-Transfer：把模拟器控制信号与文本提示转化为照片级真实视频。
- 🤖 Cosmos3-Nano-Sim-Bimanual：根据机器人或相机动作预测视频。
这四个模型都是 Cosmos 3 Nano 的后训练示例，拥有 160 亿可训练参数。模型采用 OpenMDW1.1 许可，允许按其条款进行商业和非商业使用。
为什么需要这些检查点？#
🦾 机器人领域需要能在不断变化的场景和视角下回答这一问题的环境。 这些检查点提供了互补的构建方式：Sim-Bimanual 根据动作预测视觉后果，而 Sim-Transfer 则把物理模拟器的控制信号转化为生成的观测。
🚦 对于自动驾驶，外观与几何必须一致。 同步的相机与激光雷达生成把视觉观测与 3D 传感连接起来。场景与交通信号控制让研究人员可以改变道路布局和信号状态，然后研究驾驶策略如何响应。
🔄 每一次观测都能塑造下一步动作。 流式生成把视频预测与持续交互连接起来，为世界模型研究者提供了一种探索动作与观测如何共同演化的方式。
🌐 一个可供他人构建的开放基础。 NVIDIA 的愿景是帮助研究人员和开发者创造出更丰富、响应更灵敏的模拟世界。开放权重与后训练配方提供了一个共享起点，用于适配模型、比较方法并贡献改进。这些问题仍然很难：接下来的工作是衡量模型在何处能忠实支撑策略学习与评估，理解它们的局限，并在不足之处加以改进。
用 Cosmos3-Nano 构建自动驾驶汽车世界#
🌦️ Transfer-Auto：驾驶场景 → 多传感器数据#
Cosmos3-Nano-Transfer-Auto 是一个双向模型，用于离线的合成驾驶数据生成。它可生成最多 11 路相机视角（包括鱼眼镜头）的同步视频，并支持 RGB 与激光雷达的联合生成。逐相机的世界场景地图（World Scenario Map，WSM）控制信号指定场景结构与交通运动，文本提示则引导外观。
开发者可以改变环境条件，以扩大训练和评估的覆盖范围，并可选用初始 RGB 图像来锚定场景外观。联合激光雷达生成还需要对齐的高精地图距离图（range-map）控制信号。
Transfer-Auto 同时也可作为把 Cosmos 适配到你自己的传感器配置和驾驶领域的基础。首先在你的数据上对它做后训练，以适配你的相机布局、激光雷达配置和目标环境。适配后的模型可以直接用于离线数据生成，也可以经过因果训练和少步蒸馏来实现快速流式模拟——这正是创建 Cosmos3-Nano-Sim-Auto 所走的开发路径。
把你的智能体指向这个开放技能：使用 Cosmos3-Nano-Transfer-Auto 运行推理
更喜欢 notebook？打开 Transfer-Auto。
🚗 Sim-Auto：驾驶控制 → 流式观测#
Cosmos3-Nano-Sim-Auto 是 Transfer-Auto 经过因果蒸馏得到的流式变体。它能在短短几步去噪中连续生成小段同步的相机视频与激光雷达数据，利用生成的历史和更新后的驾驶控制信号，支持快速流式传输以及长时间、交互式的推演（rollout）。
提供逐相机的描述文本和同步的 WSM 控制信号，并可选地加入初始 RGB 图像。若要生成激光雷达，还需包含与相机控制信号对齐的高精地图距离控制。蒸馏后的模型利用滚动的历史生成连续的片段。闭环交互需要模拟运行时和 WSM 渲染器，以便根据驾驶输入更新这些控制信号。若要用于新的传感器配置或领域，先适配 Transfer-Auto，再将其蒸馏为 Sim-Auto。
把你的智能体指向这个开放技能：使用 Cosmos3-Nano-Sim-Auto 运行推理
更喜欢 notebook？打开 Sim-Auto。
🎨 Sim-Transfer：模拟器控制 → RGB#
你的模拟器负责计算运动、接触和物理状态。Sim-Transfer 利用其空间控制信号和文本提示来渲染策略可以消费的颜色观测。
动作 → 模拟器更新 → 空间控制 → 生成的 RGB → 下一个策略动作
- 深度（Depth）：相对相机的距离。
- 分割（Segmentation）：区域与物体边界。
- 边缘（Edges）：场景轮廓。
- 模糊（Blur）：粗略的外观与布局。
文本引导外观；物理与真值状态仍由模拟器掌握。
深度控制转视频
分割控制转视频
把你的智能体指向这个开放技能：使用 Cosmos3-Nano-Sim-Transfer 运行推理
更喜欢 notebook？使用 Transfer。
🤖 Sim-Bimanual：动作 → 视频#
输入帧
来自 Sim-Bimanual 模拟检查点的输出视频
Cosmos3-Nano-Sim-Bimanual 模拟环境如何响应双臂机器人的动作而演化。它支持针对 YAM 和 AgiBot 机体的双臂交互式模拟，由策略或人工操作的摇杆控制。
从一张图像开始，移动机器人或相机，生成下一个观测。一个控制序列可以在视角变化与操作之间切换。
混合动作示例使用 59 个控制值，训练时填充到 64 个。其模式（schema）定义了坐标系、旋转、夹爪校准、有效性掩码和控制域。请遵循这些约定，使每个值都能描述预期的运动。
保持时间对齐：T 次转场需要 T+1 次观测。训练会把原始采集数据转换为模型的动作表示；发布的推理动作已经过归一化。
在这里，Sim-Transfer 根据物理模拟器更新后的状态生成视觉；Sim-Bimanual 则直接根据场景和机器人动作生成下一个观测。
参见数据契约与动作模式。
要求：Linux、NVIDIA GPU、Docker 以及 NVIDIA Container Toolkit。发布的 vLLM-Omni 配置在一台 GB200 上测试过；这不是最低内存规格。服务器会下载权重；客户端会获取示例输入。
把你的智能体指向这个开放技能：使用 Cosmos3-Nano-Sim-Bimanual 运行推理
更喜欢 notebook？打开 Bimanual。
流式生成是如何工作的#
Cosmos 3 的 Mixture-of-Transformers 主干通过注意力机制连接独立的文本处理网络和视觉生成网络。生成器根据提示、可用的控制信号和已生成的历史，预测每一个短片段。
控制 + 历史 → 生成片段 → 解码图像 → 更新历史
去噪把带噪的压缩视频表示精炼为一个片段。时间因果注意力让它能够读取可用的历史和控制信号，同时屏蔽未来的目标观测。键值缓存（key/value cache）会保留注意力信息，供下一次预测使用。
模型在被称为潜变量（latents）的压缩视频表示上运行。在初始图像之后，每个潜变量时间步代表四帧 RGB。Transfer 每个片段预测一步；报告中优化后的 Bimanual 配置预测两步。更小的片段能让新的控制信号更频繁地影响生成。
四阶段训练配方#
阶段 0——双向适配：从完整的录制片段中学习该领域及其「控制到视频」的关系。
阶段 1——教师强制（teacher forcing）：根据更早的录制观测和可用控制信号预测每个片段，同时把正确答案和未来目标屏蔽掉。
阶段 2——一致性蒸馏：使用冻结的教师模型训练学生模型，使其在四步去噪中生成每个片段。
阶段 3——自强制（self-forcing）：在学生模型自己生成的历史上训练。一个冻结的教师模型和一个辅助评分模型提供分布匹配信号。
为什么最后一个阶段很重要：一个略有偏差的物体预测会成为后续帧的上下文，因此误差可能不断累积。自强制训练让模型暴露于这种生成的历史之中。蒸馏和缓存降低了生成每次观测的成本。
🛠️ 用你的数据做适配#
后训练配方从 Cosmos3-Nano 或兼容的基础权重开始，覆盖全部四个阶段。请保留完整的训练检查点以便续训；导出的推理权重会省略优化器及其他训练状态。
- Transfer-auto：在你的驾驶数据上做后训练，以适配你的传感器配置和领域，并生成离线合成数据。
- Sim-auto：对适配后的 Transfer-Auto 模型应用因果训练和蒸馏，以实现快速流式模拟。
- Sim-Transfer：针对你的环境后训练该检查点，包含本地数据准备、阶段配置和续训。
- Sim-Bimanual：针对你的机体后训练，包含数据校验、阶段配置、检查点交接和导出。
把你的技能和数据集位置交给你的编码智能体。遵循环境检查，验证一个样本，并在进行更长时间的运行之前先测试训练和重启。在留出集（held-out episodes）上评估质量：一次成功的短运行只能验证执行，不能验证收敛。
更多资源#
- 🤗 下载检查点
- 📺 观看 Cosmos Labs 直播回放
- 📖 阅读技术博客