即時快訊
「公益同行・原社共好」 29家績優合作社齊聚華山 公彩成果展現就業與福利新動能 孕育兆美元輝達的傳奇美式餐廳 創辦紀念座位牌保留至今 美國屋頂太陽能發電量近十年暴增近五倍 全球運動AI市場名單出爐 日本企業掛零歐美科技巨頭強勢壟斷 創投看好AI降低門檻 一人微型創業成美國就業新趨勢 年末聚會前的輪廓焦慮?醫師 : 「看不出做過」成自然美感新趨勢 印度航太新創搶攻火箭引擎商機 獲利基訂單拚太空產業分工 葡萄牙搶攻美國資本 美資存量翻倍衝破 160 億歐元 音速小子35週年動畫短片登場 金屬索尼克反轉抉擇成亮點 PC顯卡與主機GPU差在哪?硬體整合與著色器機制成效能分水嶺
圖/本報資料庫
科技生活

·2 months ago·葉安庭
#人工智慧#企業AI#成本管理#邊緣運算#高通
圖/本報資料庫
圖/本報資料庫
商傳媒|葉安庭/綜合外電報導
摘要

隨著企業大規模導入人工智慧應用,傳統預算模式已難以有效控制不斷攀升的營運成本。專業分析指出,企業必須採納新的「AI數學」思維,透過精準的模型部署策略,並發展將部分AI工作負載轉移至終端裝置執行的邊緣運算模式,以降低成本、提升效率並確保資料安全,實現AI永續發展。

隨著人工智慧(AI)技術日益普及,企業正積極將其大規模應用於日常營運,但《Business Insider》分析指出,這種AI擴張模式正導致成本急速攀升,促使企業必須發展一套全新的「AI數學」思維來進行規劃與管理。

傳統的預算編列方式已不足以應對規模化AI部署所帶來的隱藏成本,特別是當前盛行的代理式人工智慧(agentic AI),由於其每個任務可能需要多達數十次模型互動,會消耗大量 Token(AI處理資訊的基本單位,通常用於計費)。雖然從 2022 年 11 月到 2024 年 10 月,查詢像 GPT-3.5 級模型的 Token 成本已從每百萬美元 20 元大幅下降至 0.07 美元,但代理式模型對 Token 的消耗量是一般生成式人工智慧(GenAI)聊天機器人的 5 到 30 倍,因此整體推論成本仍將顯著增加。為此,「Tokenomics」(Token 經濟學)已成為企業AI成本策略中的關鍵考量,而單純限制員工的 Token 使用量並非長久之計。

高德納諮詢公司(Gartner)建議,企業應針對不同AI工作負載,採取精準的部署策略。例如,對於重複性高且頻繁執行的任務,可採用小型、特定領域的語言模型;而對於高價值且複雜的推理任務,則保留昂貴的尖端模型。高通(Qualcomm)全球市場運算銷售副總裁 Jason Banta 指出,許多企業IT主管在預算規劃時,並未充分考量這類多模型互動的工作流程。他表示:「領導者需要用全新的方式來計算AI時代的總體擁有成本(Total Cost of Ownership, TCO)。」

為有效控制成本並提升效益,企業開始轉向邊緣運算(On-device AI)。將部分AI運算直接部署在終端裝置上,不僅能降低推論成本、減少能源消耗及AI碳足跡,還能提供更高的資料安全性與隱私保護,這對於受嚴格法規管制的產業尤其重要。根據一份美國數據中心能源使用報告預估,到 2030 年,美國數據中心的電力消耗可能佔全國總耗電量的 9.5% 至 15.3%。透過在終端裝置上執行如摘要、轉錄、草擬、翻譯、搜尋和影像清理等高頻率AI任務,能有效減輕雲端資料中心的負擔。

Jason Banta 進一步說明,許多常規的代理式工作流程,例如分類與摘要,都能透過小型或中型模型直接在裝置上完成。他強調:「將AI工作負載部署在最合理的位置,無論是終端裝置或雲端,都始於一個基礎性選擇:為組織AI策略提供動力的晶片平台。」高通提供的解決方案,旨在協助企業在成本、效能、安全性和使用者體驗之間取得平衡,從而實現永續的企業級AI應用。因此,企業需要建構一套客製化的AI架構框架,並以實現價值與控制成本並重,才能確保AI的規模化擴張能帶來最大的效益。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源