即時快訊
數產署表揚13家友善電商企業推動安心網購 Perky榮獲MUSE國際設計雙銀獎,女性營養品牌累積六項國內外肯定 金門酒廠「一穀作契」100%本土契作好品質 獲得農業部農糧署國產農糧原料酒推薦 「公益同行・原社共好」 29家績優合作社齊聚華山 公彩成果展現就業與福利新動能 孕育兆美元輝達的傳奇美式餐廳 創辦紀念座位牌保留至今 美國屋頂太陽能發電量近十年暴增近五倍 全球運動AI市場名單出爐 日本企業掛零歐美科技巨頭強勢壟斷 創投看好AI降低門檻 一人微型創業成美國就業新趨勢 年末聚會前的輪廓焦慮?醫師 : 「看不出做過」成自然美感新趨勢 印度航太新創搶攻火箭引擎商機 獲利基訂單拚太空產業分工
Fractile 推次世代 AI 推理晶片 整合記憶體運算效能躍升
科技生活

·4 個月前·葉安庭
#Fractile#AI晶片#推理晶片#半導體#深度科技
Fractile 推次世代 AI 推理晶片 整合記憶體運算效能躍升
商傳媒|葉安庭/綜合外電報導
摘要

英國深度科技新創公司 Fractile 推出開創性的次世代 AI 推理晶片,透過在單一晶片上整合記憶體與運算單元,號稱可將大型語言模型推理速度提高 25 倍並大幅降低成本,有望解決 AI 運算瓶頸。

英國深度科技新創公司 Fractile 近日發表其開創性的次世代人工智慧(AI)推理晶片,旨在徹底改變大型語言模型(LLM)的運算方式。Fractile 的核心創新在於其處理器設計,能將記憶體與運算單元在同一晶片上進行物理交織,有效突破了傳統記憶體與處理分離所造成的效能瓶頸,大幅提升大型語言模型推理的速度與效率。

這項創新技術克服了傳統 AI 推理晶片在速度與成本上的限制。Fractile 宣稱其處理器執行最先進模型時,速度可達現有解決方案的 25 倍,同時成本僅約十分之一。這使得晶片能以每秒處理數千個 Token,並同時服務數千名用戶,有效解決了當代 AI 發展面臨的關鍵瓶頸——即邊緣模型(frontier model)推理成本高昂且速度有限的問題。

這項效能躍升預計將開拓 AI 的全新可能性,例如顯著延長 AI 模型一次能處理的語境視窗(context window),以及將目前需數日人類作業時間的複雜自主任務,大幅壓縮至數分鐘內完成。Fractile 採行了全堆疊(full-stack)方法,從電晶體層級設計到雲端推理軟體,以期同時提供低延遲與高吞吐量的服務。

這家位於英國布里斯托(Bristol)與倫敦(London)的新創公司,已成功募資 2.2 億美元,投資方包括 Accel、Factorial Funds,以及由彼得·安德烈亞斯·蒂爾(Peter Thiel)共同創立的創始人基金(Founders Fund)等知名機構。Fractile 團隊匯集了硬體、軟體與 AI 系統領域的深厚專業知識,其技術特別適用於大型 AI 實驗室、雲端服務供應商,以及需要針對邊緣模型進行大規模、更快速且更具成本效益推理的企業。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源