針對性重新調整改變 Qwen 的回答傾向

From below of monitor of modern computer with opened files on blue screen

Nous Research 發布 Arete-27B 顯示,針對性微調可以在不重建架構、也不在 Nous 進行的測試中造成明顯能力退化的情況下,實質改變現有開放權重 Qwen 模型處理政治敏感問題的方式。該開發商的內部評估發現,被歸類為採納中國政府官方立場的回答,Qwen3.8-27B 佔 22%,Arete-27B 則佔 0.9%,減少 21.1 個百分點。

此結果顯示額外訓練的效果,但不能證明 resulting 模型在政治上保持中立。這項評估衡量的是對某一特定官方立場的採納情況;它無法證明其他形式的偏見已被消除,也無法證明該模型整體上更為誠實。

微調保留了大多數經測量的能力

Arete-27B 是一款以 270 億參數的稠密模型,建立於阿里巴巴的Qwen3.8-27B,透過監督式微調進行。我們使用開放的 Inkling 教師模型,在兩個訓練 epoch 中生成的約 5,280 萬個 token。公司表示未進行強化學習、偏好最佳化或架構變更;由於訓練資料僅含文字,視覺編碼器也維持凍結狀態。

此模型依 Apache 2.0 授權散佈。MarkTechPost 報導,其社群提供的 Q4_K_M 量化版本為 17.20 GB,適合配備 24 GB 記憶體的消費級 GPU,為本機部署提供了一項實用途徑。

在 Nous 的 Hermes Bench 中,Arete-27B 得分為 65.60%,基礎模型則為 65.77%。Nous 將此差距形容為雜訊。模型卡另指出 Terminal-Bench-2.1 的結果為 70%,基礎模型為 67%,但因測試設定不同,並未宣稱有所改善。

事實涵蓋度有所改善,但仍然有限

在 Nous 對 803 題英文題目的評估中,每個模型各執行五次,Arete-27B 的事實分數由滿分五分中的 2.32 升至 2.98。事實分數為零的答案從 359 題降至 216 題。變動幅度最大的類別是言論自由,事實分數由 0.89 升至 2.44,而採取官方立場的比例則從 60% 降至 1%。

這些數據顯示,在 Nous 的評分準則下,模型重現必要事實的能力有所提升,但不代表整體事實準確度提高。MarkTechPost 報導,803 個答案中仍有 216 個獲得零事實分數;來源評估也明確提醒,較低的官方立場採取率並不表示模型能準確解釋幾乎所有事實。

可供檢視的評估仍需外部測試

Nous 公開了訓練後的權重、訓練資料、評估提示詞與評分腳本,讓研究人員得以檢視或重新執行比較。評估在固定設定下使用 Grok 4.7 作為自動裁判:停用推理模式、溫度設為零,最大輸出長度為 32,000 個 token。803 個提示詞涵蓋七個政治與社會議題,每個提示詞包含兩至四項必要事實。

由於評分由 AI 模型依開發人員制定的準則執行,這些結果尚未由第三方獨立重現。近期首要的驗證項目是:採用不同裁判與評分規則的獨立評估,是否能在未明顯降低一般能力的情況下,重現官方立場採取比例的變化。

經審閱的報導揭露了模型發布與可下載的研究成果,但並未確立客戶採購、商業部署或開放原始碼流程。

產業與產品意涵

產業/產品

已披露事實

解讀與階段

驗證訊號

主要風險

Arete-27B(下游)

Nous Research 發布了 Alibaba 的 Qwen3.8-27B 可下載版本,採用 Apache 2.0 授權,並以監督式微調重新調校。

已披露事實;已交付。針對性微調會改變模型在政治敏感問題上的回答傾向,同時保留 Qwen 的基礎架構。

若後續披露使用不同評審模型與評分規則所得的獨立評測結果,就能檢驗所報告的行為轉變是否具有可推廣性。

所報告的結果來自開發商的內部評測及自動評審模型,因此無法證明其具備政治中立性或整體事實準確性。

分享這篇文章

FacebookX

4 條來源

引用來源