即時快訊
芋頭控開吃!萊爾富芋頭季登場 從鹹蛋黃麵包一路吃到海鮮燉飯 115年「斥詐好人隊」成果表揚暨交流活動 培育在地防詐種子講師 讓防詐知識走進日常生活 板橋新埔捷運站港式料理 港點職人讓你吃到最對味的炒飯、干炒牛河、餛飩湯撈麵 非洲加密貨幣採用率四年翻倍 坦尚尼亞擠進前八強 日本企業掀設計思考無用論 日媒直指核心誤解在應用方式 加納天然氣廠改聘本國專家 撤換50名中國工程師年省4200萬美元 黃仁勳辭任輝達執行長震撼各界 台灣支持者難以置信 分散美股風險 5檔非美市場熱門ETF解析 避免AI代理失控出包 專家籲將Prompt納入版本控制 全美銀行第三季營收創歷史新高 重啟庫藏股並大舉招募
圖/示意圖
科技生活

·2 months ago·責任編輯
#AI#智慧眼鏡#高通#PrismML#裝置端AI
圖/示意圖
圖/示意圖
商傳媒|責任編輯/綜合外電報導
摘要

人工智慧新創公司 PrismML 攜手高通技術,成功在智慧眼鏡平台上實現 1 位元 AI 模型運算。這項突破性技術讓模型記憶體佔用量大幅減少四倍、速度提升兩倍,有助於解決穿戴裝置記憶體成本高昂及功耗問題,推動常時運作的 AI 智慧眼鏡邁向實用化。

人工智慧新創公司 PrismML 日前與高通技術(Qualcomm Technologies)聯手展示一項突破性技術,成功讓旗下的 Bonsai 語言模型以 1 位元(1-bit)精準度,在專為智慧眼鏡設計的 Snapdragon AR1 Gen 1 平台上運行。此舉不僅大幅降低記憶體使用量達四倍,更將運算速度提升兩倍以上,為裝置端 AI 的發展立下新里程碑。

根據《Shattered.io》報導,這次展示中,PrismML 的 Bonsai 語言模型是一個擁有 20 億參數的視覺語言系統,其中語言部分採用 1 位元精度處理。相較於一般消費硬體上較為積極的 4 位元模型,這個 1 位元版本的記憶體佔用空間約減少四倍,從 1.66GB 降至 0.43GB。在效能方面,1 位元模型處理文字的速度也明顯更快,每秒可生成 15.36 個「tokens」(代指模型處理的最小語言單位,可能是詞彙或詞彙的一部分),遠高於 4 位元模型每秒 7.44 個 tokens 的表現。

1 位元 AI 技術(1-bit AI)指的是將人工智慧模型中每個「權重」(weights)資料壓縮到僅用一位元來表示。這項技術的突破性在於能有效解決消費級硬體中記憶體成本高昂的問題,並降低裝置運行 AI 時的功耗與熱量產生,這對輕巧且沒有主動散熱設計的智慧眼鏡來說至關重要。高通資深副總裁 Ziad Asghar 強調,這項技術能讓視覺情境資料在裝置端處理,確保使用者隱私並提升反應速度。

PrismML 執行長巴巴克·哈斯比(Babak Hassibi)表示,公司成立的目的就是要在不犧牲 AI 推理能力的前提下,解決模型壓縮的工程難題。目前業界主流的語言模型多採用 8 位元或 16 位元精度,而 4 位元量化已屬積極。微軟研究(Microsoft Research)曾於 2024 年發表 BitNet b1.58 架構,描述了類似的三值權重方案。

高通技術在其中也扮演關鍵角色,其 QNN SDK(軟體開發套件)已支援 Hexagon NPU(神經網路處理單元)上的 1 位元核心運算。不過,此次展示主要面向硬體合作夥伴與開發者,而非零售產品的發布。此外,高通技術尚未透露是否會將 1 位元核心支援延伸至手機級的 Snapdragon 晶片,且 PrismML 提供的基準測試數據及授權條款,其獨立驗證結果仍有待觀察。

其他科技巨頭如谷歌(Google)的 Gemini Nano、蘋果(Apple)的 Apple Intelligence 和微軟的 Phi 家族,也正積極投入開發能在裝置端高效運行的輕量化 AI 模型,顯示 AI 效率與微型化已成為業界共識。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源