即時快訊
數產署表揚13家友善電商企業推動安心網購 Perky榮獲MUSE國際設計雙銀獎,女性營養品牌累積六項國內外肯定 金門酒廠「一穀作契」100%本土契作好品質 獲得農業部農糧署國產農糧原料酒推薦 「公益同行・原社共好」 29家績優合作社齊聚華山 公彩成果展現就業與福利新動能 孕育兆美元輝達的傳奇美式餐廳 創辦紀念座位牌保留至今 美國屋頂太陽能發電量近十年暴增近五倍 全球運動AI市場名單出爐 日本企業掛零歐美科技巨頭強勢壟斷 創投看好AI降低門檻 一人微型創業成美國就業新趨勢 年末聚會前的輪廓焦慮?醫師 : 「看不出做過」成自然美感新趨勢 印度航太新創搶攻火箭引擎商機 獲利基訂單拚太空產業分工
圖/本報資料庫
科技生活

·2 個月前·林昭衡
#AI評測標準#史丹佛大學#人工智慧倫理#機器學習#測量科學
圖/本報資料庫
圖/本報資料庫
商傳媒|林昭衡/綜合外電報導
摘要

史丹佛大學研究發現,目前評估人工智慧模型表現的評測標準可能不準確,無法有效測量其宣稱的屬性,且翻譯後可能失效,影響 AI 模型開發、投資決策與政策制定,呼籲業界應引進測量科學方法提升評估嚴謹性。

根據史丹佛大學(Stanford)研究人員近期的一項研究,目前用來評估人工智慧(AI)模型表現的評測標準(benchmarks)可能存在根本性缺陷,導致其結果並不完全準確。這些評測標準在決定 AI 模型的市場價值、政策制定及政府採購上扮演關鍵角色,然而其可靠性正受到質疑。

史丹佛大學助理教授 Oluwasanmi Koyejo 指出,這些評測標準不一定能如宣稱般測量出特定屬性,且設計目的相同的評測標準之間,結果卻常相互矛盾。這項研究借鑒了測量科學(measurement science)和心理計量學(psychometrics,即研究人類能力測量的百年科學),來審視現有 AI 評測方法的有效性。

研究發現,某些評測標準在評估 AI 偏見時,反而更接近於測量 AI 的閱讀理解能力。例如,一個名為 BBQ 的偏見評測標準,會使用帶有刻意不完整資訊的選擇題。一個真正存在偏見但善於識別陷阱題的模型,可能因為選擇「不知道」而獲得無偏見的結果;反之,一個沒有偏見卻未能識破陷阱的模型,反而會被判定為有偏見。這顯示該評測標準所測量的,與其名稱所聲稱的目標有所出入。

研究進一步指出,目前主流的 AI 安全評測標準幾乎都以英文撰寫。當這些標準被翻譯成其他語言時,可能導致模型內建的護欄機制(guardrails,指限制 AI 行為以確保安全性的預防措施)失效,使得翻譯後的測試工具變得不可靠。透過應用測量模型,研究人員能更細緻地分析安全性能,將其拆解成多種構成要素,如與語言無關的安全性穩健程度、提示語(prompt)的難度等,從而更全面地理解問題。

史丹佛大學研究生 Sang Truong 強調,AI 模型的性能排名直接影響其市場價值,並驅動開發者與投資者的財務決策。由於這些評測標準對於資料導向的科學決策至關重要,因此確保其準確性或至少清楚其限制,便顯得格外重要。相關研究成果將於今年十月在舊金山(San Francisco)舉行的第三屆語言模型年會上發表。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源