省极客AI导航 提交工具

英伟达开源 Nemotron 3.5 Transcribe:一个模型做转写、说话人区分和翻译,支持 40 种语言

2026-10-30 · #语音转文字#开源模型#字幕#播客

英伟达在 Hugging Face 和 ModelScope 放出开放权重的语音转写模型 Nemotron 3.5 Transcribe,可处理最长 1 小时的录音,转写 40 种语言、最多区分 8 位说话人,并能按需输出逐词时间戳;同时提供可用自然语言指定格式和专有名词的「可提示」转写。

据 Hugging Face 上的 NVIDIA 官方博客和模型页,英伟达发布了开放权重的语音模型 Nemotron 3.5 Transcribe,同时更新了配套的语音数据集 Granary v2。模型已上架 Hugging Face 和 ModelScope。

按官方说明,它把几件以往要分开做的事放进了一个模型里:

  • 多语种转写:支持 40 种语言,其中 31 种可以和英语互译;单段录音最长约 1 小时。
  • 说话人区分:最多标注 8 位说话人(官方称说话人标注目前覆盖 13 种语言),重叠说话的场景也做了专门优化。
  • 时间戳:可按需输出逐词的起止时间和说话人对应关系,方便对齐字幕。
  • 可提示:可以用自然语言要求输出逐字稿还是书面稿、数字写法等,也能预先给一份专有名词清单,减少人名、品牌名转错。

官方给出的成绩是:在 Hugging Face Open ASR 英文榜上位列开放权重模型第一,在 VoiceArena 的说话人区分对比中排名第一。模型总参数约 340 亿、每次激活约 43 亿,完整精度版本需要一张 80GB 显存的 H100;官方另提供 FP8 和 NVFP4 量化版,可在 RTX Spark、DGX Spark 等设备上本地运行。许可证为 OpenMDW-1.1。英伟达还单独放出了一个 6 亿参数的流式版本,面向低延迟实时转写。

对创作者意味着什么: 做访谈、播客、直播回放和长视频字幕的人,最头疼的往往是「谁说了哪句」和人名、术语转错。这个模型把转写、说话人区分和时间戳一次给齐,理论上能省掉不少手工对稿时间。不过它对硬件要求不低,个人创作者更现实的用法是等剪辑软件或字幕工具接入,或者用云端 GPU 跑;中文效果和中文说话人区分的表现官方没有单独给数据,用于正式字幕前建议先拿自己的素材测一测。

信息来源:Hugging Face 博客(NVIDIA)(本文为编辑整理改写)

推荐工具