即時快訊
Perky榮獲MUSE國際設計雙銀獎,女性營養品牌累積六項國內外肯定 金門酒廠「一穀作契」100%本土契作好品質 獲得農業部農糧署國產農糧原料酒推薦 「公益同行・原社共好」 29家績優合作社齊聚華山 公彩成果展現就業與福利新動能 孕育兆美元輝達的傳奇美式餐廳 創辦紀念座位牌保留至今 美國屋頂太陽能發電量近十年暴增近五倍 全球運動AI市場名單出爐 日本企業掛零歐美科技巨頭強勢壟斷 創投看好AI降低門檻 一人微型創業成美國就業新趨勢 年末聚會前的輪廓焦慮?醫師 : 「看不出做過」成自然美感新趨勢 印度航太新創搶攻火箭引擎商機 獲利基訂單拚太空產業分工 葡萄牙搶攻美國資本 美資存量翻倍衝破 160 億歐元
圖/本報資料庫
科技生活

·8 months ago·何映辰
#AI#Token#Gartner#大型語言模型#企業成本
圖/本報資料庫
圖/本報資料庫
商傳媒|何映辰/台北報導
摘要

Gartner最新報告預測,到2030年人工智慧(AI)模型的關鍵運算單位「Token」單價將趨近於零,但企業因AI應用普及和複雜度增加,整體AI推論成本反而可能不減反增,凸顯多模型協調策略的重要性。

根據國際研究暨顧問機構Gartner今日發布的最新報告預測,到2030年,人工智慧(AI)模型的關鍵運算單位「Token」單價將趨近於「零」。儘管單價大幅下降,但隨著AI技術的快速演進與應用普及,企業的整體AI推論成本(inference cost)反而可能不減反增。

Gartner指出,大型語言模型(LLM)的推論成本將在2030年之前降低逾90%,而模型效率則有望提升高達100倍。以具備1兆參數的LLM為例,其推論成本相較於2025年將減少超過90%。報告將此效率提升歸因於半導體與基礎設施的改進、模型設計的創新,以及專為推論優化的半導體擴張。報告中,一個AI Token被定義為約3.5位元組(約四個字元)的數據量。

然而,Token單價的下降並非意味著企業AI營運負擔的減輕。Gartner資深總監分析師威爾·索默(Will Sommer)表示,企業採購長(CPO)不應將通用Token價格的下跌誤解為進階推理能力已普及。基礎AI功能正逐漸趨近零成本,但支援複雜推理所需的運算資源與系統依然稀缺。隨著AI技術發展,對Token的需求量將大幅飆升,抵銷單價下降所帶來的成本效益。

特別是AI代理程式(AI agents)等更先進的技術,每項任務所需消耗的Token量,比傳統簡易聊天機器人多出至少5倍至30倍。因此,即便Token單價降低,龐大的總使用量仍將導致企業的整體AI推論成本增加。

Gartner強調,未來的AI競爭力核心不在於單一模型的效能,而是「多模型協調策略」(multi-model orchestration)。這意味著企業需具備精密的營運能力,運用小型語言模型(sLLM)或特定領域模型處理重複且頻繁的任務,並將最尖端的模型僅用於高價值的複雜推理,這將是企業在未來AI發展階段能否生存的關鍵。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源