英伟达开源 Nemotron 3.5 Transcribe：一个模型同时做转写、翻译与说话人识别

2026-10-28

英伟达发布了 Nemotron 3.5 Transcribe，这是一个开放式语音模型，可遵循文本指令，并把转写、翻译和说话人识别结合起来，支持多达 40 种语言。该模型有 300 亿参数，但每一步只有 40 亿参数处于激活状态，因此它可以在单张 GPU 上运行。它在准确性和说话人归属的基准测试中排名靠前。英伟达还发布了 Granary v2，这是一个包含 84.4 万小时音频的数据集，以及用于把模型高效适配到医学等专业领域的工具。

英伟达发布了一款接受文本指令的开放式语音识别模型，该公司称其在多项基准测试中领先。此次发布还包括一个大型训练数据集，以及用于把模型适配到专业领域的工具。一份普通转写不会告诉你谁说了什么。它也不会翻译任何内容，或者把专业术语拼写正确。Nemotron 3.5 Transcribe 被设计为在一个模型里处理所有这些事情，它还能回答关于录音内容的问题。英伟达表示，该模型可转写 40 种语言，将其中 31 种与英语互译，并在 13 种语言中识别说话人。它可处理长达一小时的录音，其中最多可包含 8 位说话人。用户用简单指令控制模型。根据提示词的不同，同一份会议录音可以变成带说话人标签的转写、英文翻译，或对已做决定的摘要。用户还可以把药品名称之类的专业术语作为提示传入。模型只应在这些术语确实出现在录音中时才使用它们。

该模型有 300 亿参数，但每个处理步骤只有约 40 亿参数激活。因此，它可以运行在单张英伟达 GPU 上，从紧凑的 DGX Spark 到数据中心硬件都覆盖。英伟达表示，在 RTX PRO 6000 Blackwell 服务器版上以 NVFP4 精度运行时，该模型可在三分钟内处理 100 小时音频。在 Hugging Face 的英文开放 ASR 排行榜上，Transcribe 以 5.33% 的平均词错误率在开放权重模型中排名第一。在 Artificial Analysis 的对比中，它的得分为 2.81%。这接近最好的开放模型 Voxtral Small 的 2.77%，但 Transcribe 只用了约六分之一的激活参数。据英伟达称，若干被广泛使用的商业语音服务落后于它。领先幅度最大的是说话人识别。VoiceArena 在说话人有时互相抢话的对话上测试了 14 个系统，Transcribe 排名第一。它丢的词也最少，漏掉 8.32%，而中位数约为 31%。在 David AI 衡量 21 种语言说话人归属的基准上，它取得了最低错误率，仅略微领先于英伟达自己为此任务专门打造的模型。

除模型之外，英伟达还发布了 Granary v2 数据集。它包含 48 种语言约 84.4 万小时语音，相比上一版的 25 种语言约 64.3 万小时有所增加。每段录音都有多种转写风格。一个版本是逐字版，包含“uh”这类填充词和拼写出来的数字。另一个版本是清理版，没有填充词，并用数字代替文字。英伟达还分享了它构建该数据集所用的工具，以便开发者在自己录音上运行。不过该公司表示，该数据集与模型的训练数据并不完全一致。英伟达在印度医生和医学生的录音上测试了定向微调。在完整基准上，更精确的提示词把错误率从 30.8% 降到 23.8%。微调之后，错误率降到 11.8%。训练数据主要是合成语音。对于模型此前没听过的说话人，英伟达另行报告称错误率从 22.44% 降到 12.17%，相对改善 45.8%。这使适配后的模型领先于一个开放医疗语音模型的 13.79%。英伟达表示，整个过程在单张 GPU 上耗时约 14 个 GPU 小时。

英伟达发布开源语音模型 Nemotron 3.5 Transcribe，可用文本指令控制，把转写、翻译和说话人识别合到一个模型里，覆盖最多 40 种语言。模型总参数 300 亿、每步仅约 40 亿激活，因此可跑在单张英伟达 GPU 上；同时放出 84.4 万小时音频的 Granary v2 数据集与数据处理工具，并演示了用少量数据把医疗场景错误率从 30.8% 降到 11.8% 的微调路径。

这是什么信号

英伟达一次性放出了三样东西：一个开源权重的语音模型、一个 84.4 万小时的多语言语音数据集，以及构建数据集和做领域微调的工具链。模型本身的关键设计不是“更大”，而是“按指令干活”——同一段会议录音，换个提示词就能输出带说话人标签的逐字转写、英译文本，或者一份决议摘要；用户还能把药品名这类术语当提示传进去，让模型只在录音里真的出现时才采用。这种“提示词即配置”的形态，把语音模型从固定功能的 API 变成了可编排的组件。

第二个重点是工程可行性。300 亿总参数、每步约 40 亿激活的稀疏结构，让它能跑在单张 GPU 上，覆盖从 DGX Spark 这类紧凑设备到数据中心卡的区间；英伟达给出的吞吐口径是在 RTX PRO 6000 Blackwell 服务器版、NVFP4 精度下，三分钟内处理 100 小时音频。对采购方来说，这意味着语音能力的成本模型从“按分钟付费调用”转向“一次性硬件投入 + 自运维”。

为什么重要

过去语音链路的典型做法是拼装：ASR 出一个纯文本，再叠一个说话人分离模型，再叠一个翻译或摘要模型，中间任何一环出错都会向后传导。把三件事收进一个模型，最大的收益场景恰恰是商业服务长期偏弱的那部分——多人抢话的会议、需要区分医生与患者的问诊录音。原始信号里最值得注意的数字不是平均词错误率，而是串话场景下的“漏词率”：8.32% 对中位数约 31%，这是能不能直接拿去做会议纪要的分水岭。

另一个被低估的点是“数据 + 工具”的开放。Granary v2 从上一版的 25 种语言约 64.3 万小时扩到 48 种语言约 84.4 万小时，每段录音提供逐字版和清理版两种转写风格，并且把构建工具也一并放出。这等于把“造垂直领域语音数据集”的方法论公开了，而原始信号里的医疗微调案例给出了明确回报：同一基准上，提示词优化把错误率从 30.8% 降到 23.8%，微调后进一步降到 11.8%，整轮适配约耗 14 个 GPU 小时。

对谁有价值

可以怎么行动

第一步别做全量评估，先拿自己业务里最难的一段录音（多人、串话、含专业术语、时长接近一小时）跑三个提示词：带说话人标签的逐字稿、英译、决议摘要，直接看产物能不能被业务方接受，而不是看榜单分数。第二步把“术语提示”做成产品能力——把客户词表当作标准输入传进去，同时验证模型是否真的只在录音出现时才采用，避免幻觉式补词。第三步算一笔微调账：用几百到几千小时自有录音，按原始信号里十几 GPU 小时的量级做一次领域适配，比较微调前后的错误率，再决定是否自建推理集群。

风险与限制

需要清醒的是，多数领先结论来自厂商自述口径，第三方榜单上它与其他开放模型的差距并不悬殊（2.81% 对 2.77%），真正的优势更多体现在激活参数效率和说话人归属上，这些必须用自己的数据复现。能力边界也很明确：单段录音上限一小时、最多 8 位说话人，超出需要切分并处理跨段说话人一致性；翻译只覆盖 40 种语言中的 31 种与英语互译，非英语互译不在范围内。英伟达自己也说明 Granary v2 与模型训练数据并不完全一致，直接拿它复现论文级效果可能落空；医疗微调案例的训练数据以合成语音为主，真实临床录音的噪声、口音、方言分布差异会带来额外衰减。最后，开源权重不等于零运维成本，部署、量化精度选择、并发调度和评测体系仍然要自己建。

这条内容的真正价值，不只是“有人发布了一个新功能”，而是它揭示了 the-decoder.com 背后的产品方向、工作流变化或竞争信号。对 OPC 来说，这种信息可以转化成持续追踪的栏目选题。

如果把《英伟达开源 Nemotron 3.5 Transcribe：一个模型同时做转写、翻译与说话人识别》放到你的内容系统里，它最大的价值在于帮助读者更快看懂“为什么值得关注”，而不是只看到一条碎片化动态。