AI晶片巨頭輝達已在AI模型訓練市場取得領先，但分析認為，未來更大的成長潛力在於AI推理應用，輝達能否在推理市場搶佔更多市佔率，將是其維持領先的關鍵。
美國人工智慧（AI）晶片龍頭輝達（Nvidia）在AI模型訓練市場已取得主導地位，其圖形處理器（GPU）為絕大多數先進AI模型訓練伺服器提供核心算力。然而，市場分析指出，更大的成長機會可能存在於AI推理（Inference）應用，這將是輝達能否維持領先的關鍵。
AI模型的開發過程分為兩個主要階段：訓練與推理。AI訓練（Training）是指投入大量時間與算力，讓AI模型從海量資料中學習並建立知識。一旦模型完成訓練，便可部署供使用者互動，這個將已訓練好的模型實際應用、完成任務的過程，就稱為AI推理（Inference）。例如，AI回答問題或生成內容，都需要基於輝達硬體架構的運算基礎設施來支援推理。
報導指出，AI推理的工作負載可能發生數百萬甚至數十億次，其市場規模有潛力超越AI訓練。特別是隨著AI代理（AI agents）的興起，它們能執行複雜的多步驟任務，將大幅增加推理工作負載的需求。輝達也為此推出Vera Rubin架構，專為長時間運行的推理工作負載設計，結合了GPU與新型中央處理器（CPU）。
不過，輝達在推理市場也面臨挑戰。由於推理市場對成本更為敏感，客戶有動機轉向提供類似結果但價格更低的競爭對手。亞馬遜（Amazon）和Alphabet公司（Alphabet）等大型雲端服務業者（Hyperscalers）也正積極開發自家的客製化AI晶片，以降低對輝達的依賴。因此，輝達的投資價值將取決於它在日益增長的推理市場中能搶佔多少市佔率。
輝達的策略仍建立在其整合硬體、網路、軟體與開發者生態系的全面優勢之上。隨著AI革命的下一階段聚焦於透過普及的AI代理來執行複雜任務，將AI模型投入實際應用，輝達的表現將備受關注。