Alibaba 的 Qwen 團隊於 QwenCloud 釋出全雙工語音模型 Qwen-Audio-3.1-Realtime

以全雙工即時模型為首的五模型音訊技術堆疊

阿里巴巴 Qwen 團隊發布 Qwen-Audio-3.1，涵蓋自動語音辨識、文字轉語音與即時互動的五模型音訊技術堆疊。核心為 Qwen-Audio-3.1-Realtime，是一款專為會呼叫工具的語音代理所打造的全雙工語音模型。該模型以託管 API 形式於 QwenCloud 上透過 WebSocket 提供，並未宣佈開放權重。Qwen 同時調降整個技術堆疊的價格：Realtime 約降 85%，TTS 約降 70%，ASR 最高降 95%。

QwenCloud 上的價格、限制與部署形式

QwenCloud 模型頁面將文字與音訊皆列為輸入與輸出，上下文長度為 262K token（輸入上限 245K，輸出上限 16K），預設限制為每分鐘 60 次請求與 100K token。音訊輸入價格為每 1M token 6.4 美元，文字輸入為每 1M token 0.8 美元，文字與音訊輸出價格為每 1M token 24 美元，文字輸出不計費。此次發布支援函式呼叫、網路搜尋、結構化輸出、上下文快取與微調。配套模型 Qwen-Audio-3.1-ASR-Flash-Filetrans 針對離線長音訊轉錄，具備熱詞、說話者分離、標點符號、多語言與中文方言辨識功能，價格為輸入每 1M token 0.15 美元、輸出每 1M token 0.47 美元。

雙模型架構，訓練其思考、行動與決定說話時機

即時系統運行兩個共用同一 Audio Encoder 與 LLM 設計的模型。全雙工決策模型負責預測是否持續聆聽、說話、停止或恢復，而語音轉文字模型則負責起草回應內容。具備上下文感知的語音渲染器接著根據對話歷史、語音線索與聲學上下文串流語音。訓練分為三個層級。「Think」層透過百萬小時等級的配對資料與 on-policy 多模態蒸餾，將音訊模型重新對齊至其原始文字 LLM，再以 GRPO 融合同理心、語用意圖與聲學場景專家。「Act」層將每個領域置於一個配備工具池、有狀態 JSON 資料庫與自然語言商業政策的可執行環境中；獎勵於對話、里程碑與回合層級發放，而冗餘查詢懲罰使每次搜尋呼叫的平均查詢數從 4.37 降至 1.05。「Speak and Coordinate」層則掌控回應的時機與方式。

實測成效與取捨

在團隊的 Full-Duplex-Bench 上，針對他人對話的回應率從 0.13 降至 0.03，v3.0 的填充率從 0.7590 降至 0.2960。工作成功率從 78.4% 提升至 82.0%，而對背景語音的回應率則從 73% 降至 13%。觸發 F1 從 60.87% 微降至 58.61%，Qwen 將此標記為權衡取捨，並指出打斷後仍會有殘留的非預期回應。

發布與存取

Qwen-Audio-3.1-Realtime-Plus 已於 QwenCloud 上透過 WebSocket 以託管 API 形式上線，並未公開釋出對應的開放權重。當日的獨立媒體報導佐證了此次發布、效能數據及基於 WebSocket 的部署方式，而先前報導則補充了 on-policy 蒸餾管線與搜尋訓練獎勵的細節。