OpenAI
2 days ago

#OpenAI
#LLM
#ChatGPT
商傳媒|記者許方達/綜合外電報導

AI產業正面臨前所未有的挑戰與轉型壓力,過去幾年,以OpenAI為首的相關企業打鐵趁熱、持續擴張語言模型的規模,同時透過不斷加大數據與算力來提升模型精準度。

在ChatGPT等技術產品風靡全球後,「越大越好」的訓練思維一度成為行業準則,促使OpenAI等相關巨頭的股價與市值不斷衝新高;然而,近期有部分AI科學家及技術專家認為,僅依賴模型規模的成長無法滿足更高層次的技術需求,尤其在自然語言處理與複雜決策的效能上仍存在缺陷。

OpenAI聯合創辦人、現任Safe Superintelligence(SSI)實驗室負責人蘇茲克弗(Ilya Sutskever)明確指出,過去依賴大量無標籤數據的前訓練方法已達瓶頸。蘇茲克弗受訪時表示:「2010年代是擴展的時代,如今我們回到探索與發現的年代,尋找新的突破點遠比盲目擴展更重要」。蘇茲克弗離開OpenAI後,專注於研發替代性的模型訓練方法,冀望能在效能提升上尋找新思路。

在這一波技術轉向中,OpenAI近日發表的「o1」模型採用了所謂的「推理計算」技術,此技術在模型使用階段增強AI效能,例如:當面臨數學問題或複雜的代碼運算時,AI可以先生成多種解答,再從中篩選最佳選項。這種接近「人類思維」的演算法能讓模型在解決問題時進行多步思考,使AI具備更強的推理與決策能力。

OpenAI研究人員Noam Brown指出,在一場撲克遊戲中,讓模型在思考20秒後做出決策,效果等同於將模型規模增長數百倍。這不僅表明「推理計算」的潛力,也意味著傳統的硬體配置需求有可能發生重大變化。隨著「o1」的推出,OpenAI表示此技術將逐步應用在更大規模的基礎模型上,並將尋求不同於以往的模型擴展模式。

不僅是OpenAI,Google DeepMind、Anthropic與xAI等其他頂尖AI實驗室也紛紛進行類似技術研發。知情人士透露,這些公司都在尋求如何在不增加訓練成本的情況下,透過「推理計算」來提升模型效能。

這一技術可能顛覆AI硬體市場的既有秩序,特別是目前主宰AI運算需求的晶片領頭羊輝達;儘管輝達在AI晶片的技術上擁有絕對優勢,但在推理運算市場中,可能將面臨更多競爭壓力。紅杉資本與a16z(Andreessen Horowitz)等知名投資機構,均投入大量資金支持AI實驗室的研發工作,同時密切觀察這一轉變對未來AI市場的潛在影響。

紅杉資本合夥人Sonya Huang認為:「這一技術轉型將促使AI產業,從大規模前訓練集群轉向分散化的推理雲端」。隨著AI產業步入「類人思維」的新時代,未來AI公司在算力、數據與創新訓練方法上的競爭恐愈加激烈,同時重塑未來AI技術發展的新格局。