英偉達(dá) Parakeet TDT 0.6B 成開源 ASR 新王：1秒轉(zhuǎn)錄60分鐘音頻

5 月 7 日消息，科技媒體 marktechpost 昨日（5 月 6 日）發(fā)布博文，報(bào)道稱英偉達(dá)最新推出 Parakeet TDT 0.6B，是一款先進(jìn)的自動(dòng)語音識(shí)別（ASR）模型，已在 Hugging Face 平臺(tái)上完全開源。

Parakeet TDT 0.6B 的核心優(yōu)勢在于其無與倫比的速度和轉(zhuǎn)錄質(zhì)量。該模型僅需 1 秒即可處理 60 分鐘音頻，是現(xiàn)有主流開源 ASR 典型模型速度的 50 倍。

在 Hugging Face 的 Open ASR Leaderboard 上，其字錯(cuò)率（WER）低至 6.05%，成為開源模型中的佼佼者。這一性能為實(shí)時(shí)轉(zhuǎn)錄、語音分析、呼叫中心智能和音頻內(nèi)容索引等企業(yè)級(jí)應(yīng)用提供了強(qiáng)大支持。

該模型基于 Transformer 架構(gòu)，結(jié)合高質(zhì)量轉(zhuǎn)錄數(shù)據(jù)進(jìn)行微調(diào)，并針對(duì)英偉達(dá)硬件優(yōu)化推理。

援引博文介紹，該模型關(guān)鍵特性包括：6 億參數(shù)的編碼-解碼結(jié)構(gòu)、量化和融合內(nèi)核以提升推理效率、支持 TDT（Transducer Decoder Transformer）架構(gòu)，以及精確的時(shí)間戳、數(shù)字格式化和標(biāo)點(diǎn)恢復(fù)功能。

此外，該模型還開創(chuàng)性地支持歌曲轉(zhuǎn)歌詞轉(zhuǎn)錄，這一罕見功能拓展了音樂索引和媒體平臺(tái)的用例，依托英偉達(dá)的 TensorRT 和 FP8 量化技術(shù)，其實(shí)時(shí)率（Real Time Factor，RTF，模型處理時(shí)間和音頻長度的比值）達(dá)到 3386。

Parakeet TDT 0.6B 不僅關(guān)注速度和精度，還內(nèi)置了多項(xiàng)獨(dú)特功能。該模型能將歌曲內(nèi)容轉(zhuǎn)為歌詞，適用于音樂和媒體領(lǐng)域；支持?jǐn)?shù)字和時(shí)間戳格式化，提升會(huì)議記錄、法律轉(zhuǎn)錄和醫(yī)療記錄的可讀性；標(biāo)點(diǎn)恢復(fù)功能則增強(qiáng)了下游自然語言處理（NLP）應(yīng)用的表現(xiàn)。這些特性大幅提升轉(zhuǎn)錄質(zhì)量，減輕后期處理或人工編輯的負(fù)擔(dān)，尤其適合企業(yè)級(jí)部署。