Blaze 將 Qwen 封裝成按用量計費的推論服務

A collection of cryptocurrency coins and a smartphone displaying a digital trading platform.

E2E Networks 推出 Blaze,這是一項託管推論服務,讓開發人員和企業能透過單一且相容 OpenAI 的 API 使用 Qwen 及其他開放權重模型。客戶僅支付所使用的 token 費用,模型託管與擴充則由 E2E 負責。這項服務運行於印度託管的 NVIDIA GPU 基礎設施上,旨在支援重視推論成本、延遲與資料落地需求的正式環境工作負載。

Qwen 是可透過 Blaze 使用的多個模型系列之一,其他選項還包括 NVIDIA Nemotron、Sarvam、DeepSeek、GLM 和 Gemma。這項服務支援的應用案例包括程式碼代理、語音與聊天應用程式、文件處理、光學字元辨識、圖像與影片生成,以及其他語言應用。因此,它的定位比 Qwen 分銷合作更廣:這是一個橫跨多個開放模型生態系的託管存取層。

Blackwell 擴充支援推論策略

E2E 表示,其 AI 工廠容量將擴充至約 14.6 MW。其中包括一個自 5 月起運作的 1,024-GPU NVIDIA Blackwell 叢集,以及計畫新增的 5.4 MW Blackwell 容量(含 HGX B300 系統)。依據已揭露的容量計算,這項擴充將使公司從約 9.2 MW 增至 14.6 MW,增幅接近 59%。

新增基礎設施預計將支援涵蓋基礎模型訓練、後訓練、生產推論與代理式 AI 的工作。不過,所審閱的報導未揭露確切的上線時程、必要投資金額或新增容量預計配置的 GPU 數量,也未證實這項擴充將轉化為特定的採購訂單。

託管與服務提供是這項服務的差異化因素

Blaze 整合 NVIDIA DSX OS 的開源元件,而 NVIDIA Dynamo 則提供分散式模型服務,包括快取感知路由,以及將預填與解碼處理分離。NVIDIA Grove 和 KAI Scheduler 負責協調 E2E Kubernetes 基礎設施上的推論工作負載。BlueField DPU、DOCA 和 Infra Controller 預計能在客戶之間提供硬體層級的隔離。

此架構也採用關鍵值快取重用與自訂 NVIDIA CUDA 核心,以減少重複運算,並支援長上下文與程式碼代理工作負載。E2E 表示,對於語音與聊天應用,這項服務的設計旨在縮短產生第一句文字所需的時間。這些功能可因應印度開發人員超越試點部署時可能面臨的成本與延遲取捨,但所審閱的報導並未提供比較效能基準。

API 推論與私有部署相輔相成

Blaze 將 E2E 的基礎架構服務延伸至以託管 API 為基礎的推論,同時讓私有與客製化部署繼續由 TIR 平臺負責。TIR 支援模型開發、訓練、微調,以及在以 NVIDIA Blackwell 叢集為核心打造的託管 Kubernetes 基礎架構上進行自託管推論。因此,客戶可使用 Blaze,以按用量計費的方式存取託管的開放模型;若需要對自有或微調模型有更大的控制權,也可使用 TIR。

E2E Networks 將這兩項服務定位為一條從模型客製化通往正式環境推論的路徑,適用範圍涵蓋印度。在當地託管數據可能有助於組織因應數據落地考量,但僅將運算資源部署於當地並不代表已符合監管要求;存取控制、數據處理與安全安排仍會依工作負載而異。因此,業界最強且經過驗證的訊號,是更廣泛的託管推論服務納入 Qwen,而不是已披露的企業需求或新的 Qwen 專屬採購案。

業界與產品影響

業界/產品

已披露事實

需求解讀

驗證訊號

主要風險

透過 Blaze 提供 Qwen(下游)

E2E Networks 推出 Blaze,提供相容於 OpenAI 的端點,可存取 Qwen 及其他開放權重模型。

研究觀察名單;營運中。在印度託管的 NVIDIA GPU 基礎設施上提供按 token 付費的託管推論服務。

後續揭露 Blaze 使用情況、付費客戶或 Qwen 專屬的 token 消耗量。

此次推出未揭露客戶需求、使用量層級或 Qwen 專屬採購情況。

NVIDIA Blackwell GPU 基礎設施(啟用中)

E2E 表示,其 AI 資料中心容量正在擴充至約 14.6 MW,其中包括採用 HGX B300 系統的額外 5.4 MW Blackwell 容量。

研究觀察名單;規劃中。預計新增的印度託管 GPU 容量旨在支援訓練、訓練後微調與生產環境推論。

後續揭露額外 5.4 MW 容量已完成部署並開始運作。

未揭露確切的啟用時程、投資金額或 GPU 數量。

分享這篇文章

FacebookX

8 條來源

引用來源