Heidi Labs
Hugging FaceAI 领域最新发展约 17 分钟6,931 字

NVIDIA Nemotron 3.5 Transcribe 与 Granary v2：可提示、可适配的智能多语言转写

本文目录

作者：Maryam Motamedi、Piotr Żelasko、Kunal Dhawan、Nikolay Karpov、Nune Tadevosyan、Meline Mkrtchyan、Nithin Rao Koluguri、Francesco Ciannella（均来自 NVIDIA）

发布于 2026 年 10 月 28 日

一个开放模型，同时覆盖多语言转写、说话人归属、翻译和音频问答，并取得榜单领先成绩；此外还开放了 Granary v2 数据流水线与微调配方，用于对它进行适配。

一份逐字稿可以记录下说出的每一个词，却仍然让用户或应用困惑：谁说了什么、如何翻译、以及如何格式化特定领域的行话。多语言通话、节奏飞快的会议和医疗口述各自需要不同的输出：一段翻译、说话人标签，或拼写正确的医学术语。

NVIDIA Nemotron 3.5 Transcribe 是一个开放权重、可通过提示词（prompt）控制（promptable）的模型，把录制的语音转化为有用的文本，现已在 Hugging Face 和 ModelScope 上提供。它把转写、说话人归属（diarization，即说话人分离）、翻译和音频问答整合进同一个检查点（checkpoint）：它能转写 40 种语言，把其中 31 种语言与英语互译，并在 13 种语言上做说话人归属。它可处理长达一小时的录音，并能标注最多八位说话人。开发者可以用自然语言引导输出，选择音频在哪里处理，并让识别适配领域词汇和口音。

Transcribe 在 Hugging Face Open ASR 排行榜（Open ASR Leaderboard）的英语赛道上位列开放权重模型第一，并处于 Artificial Analysis 的"准确率—激活参数量"前沿曲线上。在说话人归属方面，它在 David AI 的 21 语言说话人分离排行榜上取得最低错误率，并在 VoiceArena 的 14 系统对比中排名第一。量化版本即将推出，因此你可以在自己的 RTX Spark、DGX Spark 或 Jetson AGX Thor 上本地运行 Transcribe——也可以在 Blackwell 数据中心 GPU 上横向扩展。

Granary v2 的多语言数据（在 Hugging Face 和 ModelScope 上提供）与可复用的数据治理流水线，加上 NeMo Speech 微调工具，把"提示层面"的控制延伸到"训练层面"：开发者可以定义自己需要的书写形式，并让模型适配其应用所遇到的语音。在一个医学案例研究中，微调让留出说话人上的词错误率（word error rate，WER）相对于最佳提示词降低了 45.8%。

用自然语言引导转写与分析#

同一个检查点可以把同一段会议录音变成不同的产出，取决于指令：

"转写这段录音并标注每位说话人。"

"把这段音频翻译成英语。"

"这次会议做出了哪些决定？"

在下面的视频中体验模型的实际表现，它处理的是一段经典场景——1940 年怪诞喜剧《女友礼拜五》（His Girl Friday）中一场以快速、大量重叠对话著称的戏。

Nemotron 3.5 Transcribe 为《女友礼拜五》（1940）中的一场戏生成字幕并标注说话人，包括重叠对话。

对于不熟悉的术语，先试上下文，再考虑训练。例如在医疗场景中：

用原语言转写这段医学讨论。可能出现的术语：HbA1c、metformin。仅在这些术语得到音频支持时使用它们。保留标准医学拼写，数字用常规书写形式。

模型卡（model card）提供了推荐预设，包括音频问答的推理设置，以及完整的提示词指南和"任务—语言"矩阵：语言支持因任务而异，音频问答只用英语训练过。词级时间戳同样受支持。与任何语音模型一样，请对照录音抽查人名、说话人切换和答案。

从直播课堂到可回看的课程。Agora 的实时语音与视频平台为应用中的实时对话提供支持，他们在一场课堂演示中使用了词级时间戳：Nemotron 3.5 Transcribe 把一节录播课变成与回放并排显示的逐字稿，学生能看到说了什么、什么时候说的。Agora 的博客详细介绍了他们的构建方式。

从转写到说话人归属的榜单胜利#

在开放权重模型中，Transcribe 在"说了什么"上领先；在"谁说的"上，它 outright 拿下两项说话人归属基准的第一。

Hugging Face Open ASR 排行榜。 该排行榜以公开测试集上的词错误率衡量转写准确度，分三个赛道：

  • 英语：开放权重模型第一，平均 WER 为 5.33%（图 1）。
  • 多语言：七种语言平均 WER 为 4.62%，是模型卡 Open ASR 对比中已评估开放权重模型里最低的。
  • 长音频：平均 WER 为 10.98%，同样是该对比中最低的。

图 1. Nemotron 3.5 Transcribe 以 5.33% 的平均 WER 在 Hugging Face Open ASR 排行榜（英语）上位列开放权重模型第一，API 模型被排除在外。WER 越低，转写错误越少。

Artificial Analysis 语音转文本排行榜。 Artificial Analysis 用其词错误率指数 AA-WER 独立排名语音转文本模型。Nemotron 3.5 Transcribe 以 2.8% 的 AA-WER 与开放权重模型并列第一，其激活参数约 4B，而与它并列的模型激活参数为 24B。在 AA-AgentTalk 上——这个留出的语音智能体语音集占 AA-WER 指数的 50%——Transcribe 的 WER 为 1.8%，次佳的开放权重模型为 2.3%。Transcribe 把语音编码器与一个混合 Mamba–Transformer 的专家混合（mixture-of-experts）语言模型配对，因此其 30B 参数中每个 token 只有约 4B 激活。这让它落在 Artificial Analysis 的"准确率对激活参数"开放权重帕累托前沿（Pareto frontier）上。在 AA 的全模型图表中，它排在若干被广泛使用的专有语音 API 之前。

图 2. 以约六分之一的激活参数实现领先的 AA 准确率：Nemotron 3.5 Transcribe 以约 4B 激活参数达到 2.80% 的 AA-WER。

跨语言与重叠语音的说话人归属。 Sortformer 的说话人线索与声学特征一起进入语言模型，因此 Transcribe 可以在生成过程中就为每一轮对话打标签，而不必只依赖后续步骤把说话人挂到词上。

David AI DAI-ASR-I18N 排行榜。 在 David AI 的 DAI-ASR-I18N 转写与说话人归属联合赛道上，Transcribe 在已评估的开放权重模型中排名第一，总排名第二。在该基准的说话人分离赛道（跨 21 种语言评估"谁在何时说话"）上，它在 14 个被测系统中取得最低的说话人分离错误率，略微领先于 NVIDIA 专门的 Nemotron 3 Diarization 模型。

图 3. NVIDIA 的模型占据 David AI 多语言说话人分离排行榜前两名：Nemotron 3.5 Transcribe 取得最低的总体说话人分离错误率（diarization error rate，DER），21 种语言上为 18.26%，其后是 Nemotron 3 Diarization 的 18.38%。DER 衡量说话人—时间的错误；越低越好。

VoiceArena Diarization-Bench。 在 VoiceArena 的英语整场会话基准上，Transcribe 在 14 个系统中取得最低的拼接最小置换词错误率（concatenated minimum-permutation WER，cpWER），并在面对面与线上两种设置中都排名第一。它丢词也最少：删除量占参考词的 8.32%，而中位数约为 31%。

图 4. NVIDIA 的模型占据 VoiceArena 14 系统对比的前两名：Nemotron 3.5 Transcribe 以 32.4% 的 cpWER 领先，其后是 NVIDIA Multitalker Parakeet 配合 Nemotron 3 Diarization 的 34.2%。Diarization-Bench v1 覆盖英语整场会话、重叠语音与 2–8 位说话人。cpWER 在匹配说话人标签后统计词错误；越低越好。

更多评测。 Ocular AI 的 Converse-STT 评测把 Transcribe 列为最佳开放模型。Josh Talks 的 Voice of India 排行榜报告了 Transcribe 在印度各语言上的结果。

高吞吐转写。 在基准测试中，Transcribe 在一块 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上，用即将推出的 NVFP4 量化版本，在不到三分钟内处理了 100 小时音频。结果是在高并发下用 30 秒片段测得的。

现有检查点今天即可用 vLLM 提供服务。用 NeMo-Speech.cpp 的本地部署将与量化版本一同推出。Transcribe 是为录制音频设计的，不是为实时流式处理设计的。

专业录音仍可能需要适配领域词汇与逐字稿惯例。Granary v2 与 NeMo Speech 微调正是为此而设，起点就是 Transcribe 背后的数据。

Granary v2：Transcribe 背后的开放数据治理流水线#

一个可提示的语音模型，需要训练数据带有明确无歧义的格式目标。Granary v2 是 Hugging Face 和 ModelScope 上 Nemotron 语音集合的一部分。它用 NVIDIA NeMo Curator 构建，其可复用流水线制备了 Nemotron 3.5 Transcribe 训练中使用的多语言语音，产出对齐的逐字稿变体、任务标签和可检查的质量元数据。公开清单覆盖 48 种语言、16 个来源语料，共 463,062 小时，相比 Granary v1 的 25 种语言大幅扩展。这些数字描述的是数据集发布内容，不是 Transcribe 的完整训练混合或其采样权重。

Granary v2 为每段录音生成三种逐字稿形式（表 1），这正是开发者可以用提示词向 Transcribe 请求的"逐字"与"干净"两种风格。

训练目标示例逐字稿
文本归一化、逐字I paid, uh, twenty-five euros.
逆向文本归一化、保留不流畅词I paid, uh, €25.
逆向文本归一化、去掉不流畅词I paid €25.

表 1. Granary v2 对同一句话的训练目标。

除转写之外，流水线还产短音频描述、外来词语码转换还原、与语音接地的问答对、上下文 ASR 偏置词（contextual ASR biasing terms），以及带自动质量评分的翻译。

流水线组织为四个可复用阶段：

  1. 音频准备（Metadata）：切分原始或长音频，跨整段录音跟踪说话人，并标注声学事件与语言。Granary v2 的来源音频已经切分好，因此本次发布跳过了这一阶段。
  2. 转写（ASR）：为每种语言路由到主用与恢复用 ASR 模型，当主用模型未通过幻觉检查时回退。人类参考逐字稿有助于在加入口语形式与不流畅词的同时保留可信拼写。
  3. 任务标签生成（Text）：派生逐字稿变体，然后检查字符率、幻觉模式和模型或人类参考的一致性。只有被接受的记录才会获得上下文 ASR 术语和翻译。
  4. 高保真（HiFi）：过滤掉嘈杂、削波或含多位说话人的片段，保留一个规模更小、质量更高的录音集合，供 ASR 之外的用途。对 VoxPopuli 数据集，它把 354k 小时削减到 111k 小时，覆盖 22 种欧洲语言。

图 6. Granary v2 数据治理流水线，展示一个样本从原始音频经过 Metadata、ASR 和 Text 三个阶段，最终成为一个训练样本。

开发者可以用 Ray 和 NVIDIA Dynamo 后端，在自己的录音或获授权的公开语料上运行 NeMo Curator 流水线，或在 Granary v2 公开清单之上构建。清单包含三种逐字稿形式（tn_raw、itn_raw、itn_clean）、上述各类标签、实体提示、派生指令对、来源信息，以及逐记录的质量标记。源音频需按各语料原有许可单独下载，并遵循该发布版本的公开条款。

让识别适配真正重要的词汇#

从一个开发集提示词开始，指定语言、书写系统和逐字稿格式。在下面的案例研究中，在提示词里写明英语和拉丁字母，把全基准 WER 从 30.8% 降到了 23.8%。对于仍然存在的领域错误，NeMo Speech 微调工作流会把代表性语音与明确的书写目标配对。

NeMo Speech 医学 ASR 案例研究展示了这一进程，所用数据是 Eka Care 的开放基准——来自印度医生与医学生的录音，含 3,619 个片段，且没有指定训练划分。该研究从生成的医学文本和公开药品目录构建适配数据，然后组合约 153 小时的合成语音、29 小时来自 Common Voice 的口音英语、以及 63 小时来自 MultiMed 的医学录音。

图 7. 在 Eka Care 印度医学语音基准的完整测试集上，更好的提示词把 WER 从 30.8% 降到 23.8%，微调进一步把它降到 11.8%，比开箱即用的模型少约 62% 的转写错误。完整测试集包含用于选择提示词与检查点的 855 个调优片段；下面的留出结果才是更干净的测试。

合成生成把书写目标与其语音呈现分开："HbA1c"是标签，而送给合成器的是"H B A one C"。多种 TTS 音色拓宽音频分布；真实录音则加入口音与录音条件。训练文本会按与基准参考的完全匹配和共享八字序列进行过滤。

与 Granary v2 的明确目标一样，训练样本会变化数字、单位间距、公司名展开和品牌名连字符的处理方式，并用指令指定所需的惯例。有些提示词包含带近似干扰项的术语表，让模型学会只在音频支持时才使用某个拼写。最终系统使用一个固定的惯例提示词和一次模型前向，不做检索，也不做逐字稿后处理。

该配方训练语音编码器和投影层，并用 LoRA 适配语言模型。两次训练使用不同的数据混合；适配器合并后，选中的检查点被均匀平均成一个最终模型。检查点选择使用解码后的开发集结果，而不只看训练损失。整个适配过程——从文本生成到评估——在一块 NVIDIA GB300 上约耗时 14 GPU 小时。

领域收益，在留出说话人上测量#

该研究按说话人把基准划分为 855 个调优片段（用于选择提示词和检查点）和 2,764 个留出片段（每个最终系统只解码一次）。使用 Eka Care 的 KARMA 评分流水线，微调把留出 WER 从最佳提示词基线的 22.44% 降到 12.17%，相对降低 45.8%，这是收益能泛化到新说话人的最清晰证据。关键词 WER 从 9.2% 降到 6.5%，语义 WER 从 10.0% 降到 7.6%。在同一批留出说话人和同一评分器上，适配后模型的 12.17% WER 优于一个开放医学专用模型（13.79%）和一个被广泛使用的通用 ASR 模型（14.92%）。

在通用英语上，LibriSpeech test-clean 的 WER 略有上升，从 1.54% 升到 1.69%。医学专用模型在品牌药名和诊断术语的精确匹配上仍然领先；该研究指出下一步是采集临床医生真实说出品牌名的录音。对于你自己的领域，请至少保留 100 个带标注的真实片段用于检查点选择，并在评估应用所依赖的实体类型时，一并评估通用语音能力的保留情况。

该案例研究包含复现每一步的命令。微调教程覆盖配方、资源需求，以及训练、导出和评估工具，包括新语言与语码转换 ASR。配套的智能体技能（agent skill）让编码智能体可以跑通整个工作流，从基线选择、数据检查，到训练验证、适配器合并与评估。

ModelScope 还让开发者能通过其 ms-swift 框架对 Nemotron 3.5 Transcribe 进行微调，用于专门的多模态应用。

开始使用 Nemotron 3.5 Transcribe 和 Granary v2#

在 Hugging Face 演示或 ModelScope Studios 上试用 Nemotron 3.5 Transcribe，然后从 Hugging Face 或 ModelScope 下载检查点。如需自托管转写，可从 vLLM 或 SGLang-Omni 开始，两者从第一天起就提供支持。

若不想自托管，可使用 Baseten、DeepInfra 或 Simplismart 提供的托管端点。

若要把它适配到你的领域，请从 Hugging Face 或 ModelScope 上的 Granary v2 清单和医学 ASR 案例研究入手，或让编码智能体用微调智能体技能驱动整个工作流。

模型与数据集

  • 模型检查点：Hugging Face 上的 NVIDIA Nemotron 3.5 Transcribe、ModelScope；交互演示：Hugging Face、ModelScope
  • 托管端点：Baseten、DeepInfra
  • 数据集清单：Hugging Face、ModelScope 上的 Granary v2 清单
  • 高保真子集：Hugging Face、ModelScope 上的清单；Hugging Face 上的 Space
  • 仓库与教程：NVIDIA NeMo Speech GitHub、NeMo Curator Granary v2 流水线、vLLM 部署指南、语音微调指南、微调智能体技能
  • 合作方博客：Agora、Inflection AI、VoiceArena、Simplismart、DeepInfra
  • 本地 AI：NVIDIA RTX PC、笔记本和 DGX Spark 上本地 AI 的新进展