即時快訊
情緒不硬撐!臺中市響應心理健康月相約Lalaport找回生活節奏 美大型銀行10月中旬起陸續公布財報 資金回流金融股00998A拉回成布局契機 美國乳品產業高度集中:三大合作社掌握近九成銷量 淨零治理匯聚產官學力量 TAIWAN COP6高峰論壇聚焦能源韌性與多元創新 矽谷老將轉戰農業科技 導入 AI 解決全球糧食挑戰 肯亞創業家放棄哈佛機會 勇闖矽谷開創科技事業 企業能禁員工上班用手機?烏克蘭勞資規定揭平衡點 貝索斯地球基金會2600萬美元投資FireSat 20分鐘內偵測全球火災 AI發展掀資料中心抗議潮 澳洲社企倡太陽能解決方案 遠距病患監測改寫醫療樣貌 居家照護趨勢顯著
OpenAI 攜手博通打造客製 AI 晶片 專攻 LLM 推論市場效率更高
科技生活

·3 months ago·方承業
#OpenAI#博通#AI晶片#LLM推論#半導體
OpenAI 攜手博通打造客製 AI 晶片 專攻 LLM 推論市場效率更高
商傳媒|方承業/綜合外電報導
摘要

OpenAI 與博通近日共同發表一款名為 Jalapeño 的客製化晶片,專為大型語言模型(LLM)的推論工作負載設計。這款晶片僅用九個月即完成試產,預計今年底開始部署於資料中心,目標是大幅提升 AI 運算效率並降低 OpenAI 對外部晶片供應商的依賴。

美國人工智慧(AI)公司 OpenAI 與半導體大廠博通(Broadcom)共同宣布,已成功開發一款名為 Jalapeño 的客製化 AI 晶片,專為大型語言模型(LLM)推論(inference)工作負載設計。這款晶片僅耗時九個月便完成試產(tape-out),展現極高的開發效率,並預計將於今年底部署至微軟(Microsoft)及其他合作夥伴的資料中心。

Jalapeño 晶片設計獨特,採用特殊應用積體電路(ASIC)架構,不同於市面上通用型 AI 處理器或訓練加速器,其核心目標是為現代 LLM 及未來的 Agentic AI 工作負載提供更優異的「每瓦效能」(performance per watt)。OpenAI 指出,該晶片的架構是根據其對 LLM 行為的深入理解所設計,旨在解決大規模推論時的實際瓶頸,包括昂貴的資料移動、運算與記憶體資源平衡、網路效率等問題。早期的內部測試顯示,Jalapeño 的每瓦效能比「現有最先進硬體」大幅提升,能以接近理論最大值的效率執行重要工作負載。

該晶片巨大的運算晶粒(compute die)尺寸約達 840 平方毫米(mm²),接近極紫外光(EUV)微影系統光罩尺寸的極限(858 平方毫米),這比目前市場上多數推論加速器的晶粒更大,反而更接近用於 AI 訓練的處理器規模。博通執行長陳福陽(Hock Tan)表示:「我們與 OpenAI 的合作,代表著對未來十年 AI 所需實體基礎設施擴張的堅定承諾。」他也提到,透過直接與 OpenAI 共同開發業界領先的晶片,博通正協助微軟及其他夥伴從 2026 年開始部署「吉瓦級」(gigawatt-scale)資料中心。

OpenAI 發展客製化晶片是其長期策略的一環,旨在「垂直整合」(vertical integration)旗下模型的完整技術堆疊,以降低對外部公司如輝達(Nvidia)等晶片供應商的依賴。在當前全球算力緊缺的背景下,此舉有助於提升其運算能力,並可能帶來更好的性能與效率。未來,OpenAI 預期 Jalapeño 將成為其推論硬體的第一代產品,並持續精進。

這項合作對台灣的半導體產業鏈可能帶來多重影響。由於 Jalapeño 晶片尺寸龐大且採用客製化設計,其生產製造可能涉及先進製程技術,這將為全球晶圓代工與封裝測試大廠帶來潛在訂單。然而,隨著 OpenAI 等大型 AI 業者走向自研晶片,可能挑戰現有 GPU 供應商的主導地位,進而影響台灣在相關供應鏈中的定位與商業模式,促使產業鏈加速轉型與創新。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源