即時快訊
「公益同行・原社共好」 29家績優合作社齊聚華山 公彩成果展現就業與福利新動能 孕育兆美元輝達的傳奇美式餐廳 創辦紀念座位牌保留至今 美國屋頂太陽能發電量近十年暴增近五倍 全球運動AI市場名單出爐 日本企業掛零歐美科技巨頭強勢壟斷 創投看好AI降低門檻 一人微型創業成美國就業新趨勢 年末聚會前的輪廓焦慮?醫師 : 「看不出做過」成自然美感新趨勢 印度航太新創搶攻火箭引擎商機 獲利基訂單拚太空產業分工 葡萄牙搶攻美國資本 美資存量翻倍衝破 160 億歐元 音速小子35週年動畫短片登場 金屬索尼克反轉抉擇成亮點 PC顯卡與主機GPU差在哪?硬體整合與著色器機制成效能分水嶺
圖/本報資料庫
科技生活

·3 months ago·林昭衡
#AI模型#大型語言模型#邊緣運算#Multiverse Computing#OpenAI
圖/本報資料庫
圖/本報資料庫
商傳媒|林昭衡/綜合外電報導
摘要

Multiverse Computing 研究團隊發表了一種名為「Quantization-Aware Healing」的新方法,成功將 OpenAI 的大型語言模型 GPT-OSS 縮小一半參數並壓縮記憶體,但效能卻超越了原始模型,這項突破性技術有望讓 AI 在低功耗設備上更廣泛地應用。

根據《Decrypt》報導,人工智慧(AI)領域近日出現一項突破性進展。位於美國的 AI 公司 Multiverse Computing 研究團隊於 8 月 25 日在 Hugging Face 部落格上發表了一種名為「Quantization-Aware Healing」的新方法,成功將 OpenAI 開源的 GPT-OSS 大型語言模型(LLM)從 1,200 億個參數(parameters)縮小至 600 億個,同時將模型記憶體壓縮至 4 位元,但效能卻不減反增。

一般而言,AI 模型參數越多、記憶體需求越大,效能通常也越強。但這項新技術顛覆了傳統認知,經測試發現,這款縮小後的 GPT-OSS 模型在九項評估測試中,有七項超越了原始的全參數模型。研究人員解釋,「Quantization-Aware Healing」方法並非簡單地壓縮,而是讓縮小的模型回頭向未壓縮的原始模型學習,確保在壓縮過程中能「修復」因資料量減少可能造成的智慧損失。

此技術的實用價值在於,量化(Quantization)步驟不再僅是降低成本的手段,更成為提升模型品質的機會。透過這種方式,模型在經過「治療」後,所需的記憶體約為原始模型的四分之一,參數數量減半,卻能提供同等或更高的準確度。這意味著 AI 模型未來可在更便宜、記憶體更小的邊緣運算設備上運行,大幅降低服務成本並擴大應用範圍。

Multiverse Computing 已將這款經過改良、名為 Hypernova-60B 的模型以開放權重(open weights)的形式釋出在 Hugging Face 平台上。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源