即時快訊
輝達Vera CPU助AI沙盒運算吞吐倍增 Arm架構躍主流 小琉球特色手搖飲 奶霜茶底、布丁冰沙與海龜造型甜點都在這間白沙尾港飲料店 香芋銅鑼庄11月8日登場 400份主廚芋頭料理免費品嘗 夫妻攜手創立平鎮特色冰店!自製配料搭配綿綿冰 多種創新口味成桃園創意甜品新亮點 仁寶電腦×瑞寶生醫推出 UTREND 手持科技裝置 導入冷電漿技術搶攻居家美容市場 美銅礦商 Lion Copper 那斯達克掛牌交易 股票代碼 LCU 美國企業稅收大降 16% 財年赤字擴大至 1.99 兆美元 《俠盜獵車手VI》發售前詐騙橫行 專家籲玩家提防假早期體驗 嘉信資產管理推國際債券 ETF 費用僅 0.06% 搶市 TP-Link 聯手美廠組裝路由器 力抗美國禁售令保住市場
圖/本報資料庫
科技生活

·a few seconds ago·何映辰
#輝達#Vera CPU#AI沙盒#Arm架構#半導體
圖/本報資料庫
圖/本報資料庫
商傳媒|何映辰/台北報導
摘要

雲端 AI 公司 Modal 宣布,將採用輝達基於安謀架構的 Vera CPU 來運行其 AI 沙盒產品,測試顯示運算吞吐量可達英特爾伺服器的兩倍。輝達也推出 Nemotron 3.5 系列開放模型,強化 AI 代理的開發能力,旨在提供更快、更具成本效益的 AI 解決方案,顯示 Arm 架構在 AI 運算領域的潛力。

雲端人工智慧公司 Modal 宣布,其 AI 沙盒(AI sandboxes)產品將轉向採用輝達(Nvidia)基於安謀(Arm)架構的 Vera CPU,這也是該公司首次捨棄 X86 晶片。根據 Modal 內部測試,Vera CPU 在高負載情況下,能處理的任務量是英特爾(Intel)伺服器的兩倍,大幅提升 AI 代理(agent)的運算效率。

AI 沙盒是為 AI 代理程式提供隔離的運算環境,讓它們能在此執行與測試程式碼。然而,這類工作負載難以預測,AI 代理可能在等待模型時閒置,但在安裝軟體時卻突然消耗十倍以上的運算能力。輝達今年三月發表的 Vera CPU,正是針對 AI 代理運算需求設計,內含 88 個核心。Modal 計劃利用 Vera CPU 處理這類波動性大的工作負載,確保運算穩定性。

除了 Vera CPU,輝達近期也推出新一代開放式大型語言模型 Nemotron 3.5 系列,進一步強化其 AI 代理生態系。其中,Nemotron 3.5 Super VL 是一款擁有 1200 億參數的開放模型,其智慧程度較前代 Nemotron 3 Super 提升兩倍,且生成文本量減少約 60%。該模型特為企業級 AI 代理設計,具備處理影像、網頁、PDF 的多模態能力,並能精確讀取表格、圖表與掃描文件。

輝達也同步推出 Nemotron 3.5 Bolt 系列,旨在輕量化並在筆記型電腦上運行,首款模型具備 740 億參數。透過 2 位元量化技術,Nemotron 3.5 Bolt 僅需 24GB 記憶體,便能運行於配備 RTX 顯示卡的遊戲電腦或輝達的 DGX Spark 迷你電腦。輝達的目標是為全天候運作的 AI 代理,提供最快速且成本最低的開放模型。業界如 Perplexity 已表示將在 Vera CPU 上執行代理任務,並回報程式撰寫速度提升 1.5 倍。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源