即時快訊
Perky榮獲MUSE國際設計雙銀獎,女性營養品牌累積六項國內外肯定 金門酒廠「一穀作契」100%本土契作好品質 獲得農業部農糧署國產農糧原料酒推薦 「公益同行・原社共好」 29家績優合作社齊聚華山 公彩成果展現就業與福利新動能 孕育兆美元輝達的傳奇美式餐廳 創辦紀念座位牌保留至今 美國屋頂太陽能發電量近十年暴增近五倍 全球運動AI市場名單出爐 日本企業掛零歐美科技巨頭強勢壟斷 創投看好AI降低門檻 一人微型創業成美國就業新趨勢 年末聚會前的輪廓焦慮?醫師 : 「看不出做過」成自然美感新趨勢 印度航太新創搶攻火箭引擎商機 獲利基訂單拚太空產業分工 葡萄牙搶攻美國資本 美資存量翻倍衝破 160 億歐元
圖/本報資料庫
科技生活

·3 個月前·何映辰
#AI成本#Gartner#Context Engineering#AI代理#推論成本
圖/本報資料庫
圖/本報資料庫
商傳媒|何映辰/台北報導
摘要

高德納諮詢公司預計AI代理的推論成本到2028年將大幅增加,主因是AI模型在處理資訊時,其「Context Window」過載導致的效能下降與Token使用量暴增;為此,企業需要透過「Context Engineering」技術,有效管理AI模型接收的資訊,以降低成本並提升效能。

全球知名的資訊科技研究顧問公司高德納諮詢公司(Gartner)已預期,人工智慧(AI)代理的推論(Inference)成本將在2028年前顯著增加。這意味著AI模型實際運行、產生結果時所需的費用,恐將對企業帶來不小的壓力。

這些能夠自主執行任務的人工智慧程式,其效能與成本關鍵在於它們處理資訊的「Context Window」(上下文視窗),即AI模型單次互動能接收和處理的資訊量。根據 Towards AI 的共同創辦人兼技術長路易斯-弗朗索瓦·布沙爾(Louis-François Bouchard)的解釋,當 Context Window 被過多不相關的資料填滿時,會導致AI模型效能下降,此現象稱為「Context Rot」(上下文腐蝕)。

Context Rot 不僅影響AI代理的回應品質,也會推高AI模型處理資訊的基本單位——Token(權杖)的使用量,進而顯著增加營運成本。為此,業界正積極推動「Context Engineering」(上下文工程),其核心在於精確決定AI模型在每次互動中應接收哪些資訊,以期在模型品質與成本效益間取得平衡。

Context Engineering 涵蓋多項策略,旨在優化Context Window 的管理。其中,「Compaction」(壓縮)技術透過觀察截斷、選擇性保留、摘要與提示壓縮等方式,將Context Window 的資訊量最小化,僅保留最相關的內容。而「Offloading」(卸載)則是將上下文資料移出即時 Context Window 之外,例如使用 retrieve augmented generation(RAG,檢索增強生成)和 GraphRAG 等技術。

另一關鍵策略是「Caching」(快取),透過運用預先計算好的快取來大幅降低成本和延遲。當上下文內容僅是增加而非轉換時,快取能有效節省重複運算所需資源。然而,若對上下文進行摘要等修改,則可能破壞快取機制,導致需重新計算而抵消節省的效益。

此外,「Progressive Disclosure」(漸進式揭露)則強調僅在AI代理需要時才載入必要的元件,而非一次性載入所有指令,這有助於更有效地管理AI技能。早期的實驗顯示,在未經壓縮或修改的情況下,保留「完整歷史」資訊通常能在記憶回溯方面提供最佳結果,並且由於快取的效益,成本更低、速度更快。

綜合來看,Context Engineering 是一門整合壓縮、記憶體管理和技能優化的全面性學科。透過仔細規劃AI模型所接收的資訊,開發者能顯著提升AI代理的效能,同時降低營運成本並改善使用者體驗,這對於企業應對日益攀升的AI運算費用至關重要。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源