即時快訊
Perky榮獲MUSE國際設計雙銀獎,女性營養品牌累積六項國內外肯定 金門酒廠「一穀作契」100%本土契作好品質 獲得農業部農糧署國產農糧原料酒推薦 「公益同行・原社共好」 29家績優合作社齊聚華山 公彩成果展現就業與福利新動能 孕育兆美元輝達的傳奇美式餐廳 創辦紀念座位牌保留至今 美國屋頂太陽能發電量近十年暴增近五倍 全球運動AI市場名單出爐 日本企業掛零歐美科技巨頭強勢壟斷 創投看好AI降低門檻 一人微型創業成美國就業新趨勢 年末聚會前的輪廓焦慮?醫師 : 「看不出做過」成自然美感新趨勢 印度航太新創搶攻火箭引擎商機 獲利基訂單拚太空產業分工 葡萄牙搶攻美國資本 美資存量翻倍衝破 160 億歐元
圖/本報資料庫
科技生活

·6 個月前·林昭衡
#AI#硬體#稀疏計算#史丹佛大學#Onyx
圖/本報資料庫
圖/本報資料庫
商傳媒|林昭衡/綜合外電報導
摘要

史丹佛大學研究團隊開發出名為 Onyx 的新型硬體加速器,專為提升人工智慧大型語言模型的「稀疏計算」效率而設計。這款晶片大幅降低能源消耗並加速運算,有望解決大型 AI 模型日益增長的能源需求與環境影響,為未來 AI 硬體發展奠定基礎。

隨著人工智慧(AI)技術快速發展,大型語言模型(LLM)的規模持續擴大,例如Meta推出的Llama模型已達2兆個參數。然而,模型增大不僅提升了能力,也帶來能源消耗與運算時間的大幅增加,導致碳足跡問題日益嚴重。

為解決這些挑戰,目前業界普遍傾向使用較小型模型或採用低精度數字來處理模型參數。然而,《Aol.com》報導指出,另一個潛力巨大的途徑是優化AI模型中的「零值」運算,這便是所謂的「稀疏性」(sparsity)。稀疏性是指模型參數中,大多數數值為零或極接近零,若能跳過這些零值的計算與儲存,將能顯著節省運算資源。

儘管現行的多核心中央處理器(CPU)與圖形處理器(GPU)未能充分利用稀疏性,但產業內已有多家公司致力於加速稀疏機器學習的硬體開發。例如,蘋果公司(Apple)在其A14與M1晶片中,已透過支援陣列指標存取模式,加速了非連續記憶體查找。Cerebras也展示其Cerebras’s Wafer Scale Engine能在LLM上達到高達70%的稀疏性。Meta的Meta’s Training and Inference Accelerator (MTIA) v2版本,則宣稱在稀疏計算效能上較v1提升了七倍。

史丹佛大學研究團隊開發了一款名為Onyx的硬體加速器,為解決稀疏性問題帶來了關鍵進展。Onyx基於粗粒度可重構陣列(CGRA)架構,是首款能同時高效處理稀疏與稠密運算的可程式化加速器。該晶片平均能耗僅為CPU的七十分之一,運算速度則平均提升八倍。Onyx能在不同稀疏程度的計算中配置不同的運算方式,實現高效能與低能耗,並能配置以加速稠密應用,類似於GPU的功能。

這項技術不僅能提升AI的效能與能源效率,也將開創新的演算法研究領域,進一步優化AI發展。史丹佛大學團隊正著手開發Onyx的下一代晶片,旨在支援更多元的運算類型,並提升稀疏與稠密加速器架構在晶片上的整合效率,以應對日益增長的AI模型運算成本與環境影響。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源