NVIDIA 發布開放權重轉錄模型
NVIDIA 於 10 月 28 日發布 Nemotron 3.5 Transcribe，這是一款開放權重語音模型，旨在支援多語言轉錄、語音翻譯、說話者辨識及音訊問答。模型卡列明其透過 Hugging Face、GitHub（經由 NVIDIA NeMo Speech）、NGC 及 Build.Nvidia.com 發布，權重採用 OpenMDW-1.1 授權提供。
據 NVIDIA 表示，該模型支援 40 種語言。它能將英文語音翻譯成其他語言，或將其他語言的語音翻譯成英文，涉及 31 種語言；並能辨識 13 種語言中的說話者，可處理最長一小時的錄音，並標示最多八位說話者。各項功能會因語言及任務而異；音訊理解與遵循口頭指令的能力僅以英文進行評估。
提示詞可控制逐字稿輸出
自然語言提示詞可要求產生逐字稿或整理後的逐字稿、提供產品或醫療詞彙等脈絡、加入說話者標籤與字級時間戳，並指示進行語音翻譯。模型也能回答音訊相關問題，不過這項能力僅以英文進行訓練。
Nemotron 3.5 Transcribe 結合 Transformer 語音編碼器、說話者分離模型及 NVIDIA 的 Nemotron 3.5 Lightning 語言模型。其公開的檢查點名稱為 30B-A4B，約有 43 億個啟用參數。NVIDIA 發布了 BF16、FP8 與 NVFP4 檢查點，以及適用於 NeMo-Speech.cpp 的 GGUF 檔案，並透過 NeMo Speech 提供微調工具包。
NVIDIA 公佈基準測試結果
NVIDIA 報告，在 Open ASR Leaderboard 的九個公開英文測試集中，平均字詞錯誤率為 4.71%。公司也指出，在多語言排行榜的七種語言測試中，平均字詞錯誤率為 4.62%，長格式語音的結果則為 10.98%。
該公司表示，在其排行榜比較中，此模型的排名居開放權重模型之首。這些排名依據模型卡所記錄的 2026 年 10 月 12 日結果，且不包含 API 模型。在 ContextASR-Bench 上，NVIDIA 報告指出，當模型收到預期實體清單時，命名實體錯誤減少為原本的六分之一，但尚無法確立這是客戶的典型使用情境。
最佳化推論速度超越已發布設定
NVIDIA 表示，在單一 RTX PRO 6000 Blackwell GPU 上使用 NVFP4 checkpoint、DFlash2 推測解碼與 Nemotron 3.5 Transcribe 推論軟體時，吞吐量最高可達每秒處理 2,238 秒音訊。該公司表示，發布當日的 vLLM 實作預期執行速度約為該最佳化設定的一半。
實際效能取決於硬體、設定與工作負載。NVIDIA 也提醒，Nemotron 3.5 Transcribe 是離線模型；其內部音訊分塊並不會使它成為即時串流服務。
模型搭配相關資料集發布
NVIDIA 也發布了 Granary v2，這是一套開放語音資料集與資料整理流程；其公開 manifest 涵蓋 48 種語言、16 個來源語料庫，共 463,062 小時。NVIDIA 表示，這些數字描述的是資料集發布內容，而非模型完整的訓練混合資料。此流程以 NVIDIA NeMo Curator 建置，可產生多種逐字稿形式，以及字幕、以語音為依據的問答配對、上下文詞彙與附品質分數的譯文。
分享這篇文章
