即時快訊
以太幣重挫跌破 1,800 美元 鏈上數據曝散戶斷頭與巨鯨逢低建倉分歧 破除企業AI部署即停滯痛點 新創募資1.1億美元主打持續自我優化 24家加密庫存企業市值跌破持幣價值 溢價買幣模式亮紅燈 打造AI旅遊規劃助理 美國新創獲凱鵬華盈領投1200萬美元 摩根大通打造單一AI模型 信用卡詐欺偵測率大增85% Google 收購排程助理新創 Howie 加速中小企業工作流程自動化 Booking.com母公司推AI訂位功能 連競爭對手商品都能代訂 營收成長獲利卻大跌兩成 日本超市深陷通膨財報泥淖 美光工會陳情爭取分紅 卓榮泰表態協調勞資爭議 歐盟無人機認證草案遭批放水 產業協會憂中企趁虛而入
圖/本報資料庫
科技生活

·8 個月前·葉安庭
#輝達#Groq#AI推理#半導體#黃仁勳
圖/本報資料庫
圖/本報資料庫
商傳媒|葉安庭/綜合外電報導
摘要

輝達(Nvidia)於2025年底以200億美元收購AI晶片公司Groq的AI推理部門。不到三個月後,執行長黃仁勳(Jensen Huang)揭曉Groq 3 LPX推理加速器。這款新晶片結合Groq LPU的低延遲互動性與輝達Rubin GPU的高吞吐量,預計能為兆級參數AI模型提供35倍於Blackwell NVL72的吞吐量,有望在2026年重塑AI推理市場格局。

全球繪圖處理器大廠輝達(Nvidia)繼去年底斥資200億美元現金收購人工智慧(AI)晶片新創公司Groq的AI推理部門後,其整合成果近日正式揭曉。輝達執行長黃仁勳(Jensen Huang)今日發表全新的Groq 3 LPX推理加速器,此晶片被預期將在2026年對AI推理市場帶來顛覆性影響。

AI推理是指經過訓練的AI模型根據新數據或輸入做出決策的過程,例如ChatGPT生成獨特回應,或自駕車分析感測器數據。此過程通常包含兩階段:預填充(處理查詢)與解碼(形成回應)。推理晶片正是為此優化,旨在以更具成本效益的方式加速AI推理任務。

Groq的核心技術是其語言處理單元(LPU),專精於低延遲的自然語言處理。Groq的LPU採用靜態隨機存取記憶體(SRAM),大幅提升AI模型的互動性。相較之下,輝達自家的Rubin繪圖處理器(GPU)則運用高頻寬記憶體(HBM),以更快速度處理更多數據,從而提高整體吞吐量。

黃仁勳曾表示,收購Groq的目的是將其低延遲處理器整合到輝達的AI工廠架構中。新推出的Groq 3 LPX推理加速器,正是結合了Groq LPU的互動性與Rubin平台的吞吐量及效能,專為代理式AI系統設計。輝達宣稱,Groq 3針對兆級參數AI模型,每百萬瓦可提供比其Blackwell NVL72平台高出35倍的吞吐量。這種顯著的效能優勢對於市場推廣至關重要,因為用戶會尋求更快的聊天機器人回應速度。預期投資代理式AI聊天機器人技術的企業,將會積極採購這款新硬體。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源