即時快訊
Perky榮獲MUSE國際設計雙銀獎,女性營養品牌累積六項國內外肯定 金門酒廠「一穀作契」100%本土契作好品質 獲得農業部農糧署國產農糧原料酒推薦 「公益同行・原社共好」 29家績優合作社齊聚華山 公彩成果展現就業與福利新動能 孕育兆美元輝達的傳奇美式餐廳 創辦紀念座位牌保留至今 美國屋頂太陽能發電量近十年暴增近五倍 全球運動AI市場名單出爐 日本企業掛零歐美科技巨頭強勢壟斷 創投看好AI降低門檻 一人微型創業成美國就業新趨勢 年末聚會前的輪廓焦慮?醫師 : 「看不出做過」成自然美感新趨勢 印度航太新創搶攻火箭引擎商機 獲利基訂單拚太空產業分工 葡萄牙搶攻美國資本 美資存量翻倍衝破 160 億歐元
最近幾個月OpenAI面臨雙難題,一是ChatGPT流量下滑,二是GPT-4被證實「變笨」了。圖/freepik
科技生活

·3 years ago·許方達
#OpenAI#ChatGPT#聊天機器人#GPT-4
最近幾個月OpenAI面臨雙難題,一是ChatGPT流量下滑,二是GPT-4被證實「變笨」了。圖/freepik
最近幾個月OpenAI面臨雙難題,一是ChatGPT流量下滑,二是GPT-4被證實「變笨」了。圖/freepik
摘要

最近幾個月OpenAI有兩個流傳,一是ChatGPT流量下滑,二是GPT-4「變笨」了。研究發現,OpenAI的ChatGPT發布的最新模型GPT-4,在某些問題上的表現,竟比在3月時還要來得差,其中在回答基礎數學問題的正確率,更是從98%下降到只剩2%。

商傳媒|記者許方達/綜合報導

OpenAI靠推出聊天機器人ChatGPT爆紅全球;不過,近來公司面臨兩大難題,分別是ChatGPT流量直線下滑,另一項則是有研究證實「GPT-4明顯變笨」。

根據數據公司SimilarWeb統計,ChatGPT在5至6月份的全球流量下降9.7%,獨立訪客減少5.7%,使用者在網站上停留的時間,更在5月份下降了8.5%。此外,ChatGPT的流失率(即停止使用服務的使用者比例)飆升到20%左右。

圖片來源:SimilarWeb

更棘手的是GPT-4變笨的疑慮,近日一份以「How Is ChatGPT′s Behavior Changing over Time?」為題的論文依「數學問題、敏感問題、寫程式能力和視覺推理能力」,分別對GPT-4及GPT-3.5進行測試。

其中在「數學能力」部分,研究人員給予兩大模型同樣500道「判斷給定整數是否為質數」的問題,測試結果顯示:GPT-4在3月時共答對488道題目,到了6月只答對12題,成功率直接從97.6%「劣化」至2.4%。對照之下,GPT-3.5在3月時的答題正確率僅7.4%,6月竟大幅提升至86.8%。

圖片來源:翻攝自Santiago推特

當研究人員透過經典的「Let’s think step by step」辦法,來引導GPT-4解出正確答案時,6月的GPT-4已不再嘗試給出中間步驟,而是直接回答「yes」或「no」。

不止如此,當研究人員要求ChatGPT寫code或進行視覺推理測試時,GPT-4的程式撰寫能力也明顯下降。對於50道簡單等級的LeetCode題,在3月時,GPT-4給的答案有高達52%可不經更改直接執行;到了6月份,可成功執行的答案僅剩10%。

圖片來源:翻攝自arXiv

這份論文的作者包括:史丹佛華裔教授James Zou、學生Lingjiao Chen,還有柏克萊計算機科學教授Matei Zaharia以及AI數據公司Databricks的CTO。

由於GPT-4沒有開源,James Zuo表示,「我們也不知道模型本身、神經架構或是訓練數據哪個環節,產生了怎麼樣的變化。當我們調整大型語言模型,以提高其在某些任務上的性能時,實際上可能會產生很多意想不到的後果,這實際上可能會損害該模型在其他任務上的性能」。

論文最後以longitudinal drifts「縱向飄移」形容模型能力隨著更新和時間變化造成的「不穩定性」,儘管還是沒有找出ChatGPT變笨的確切原因,但已在學術界引起廣泛討論。

在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源