人工智慧（AI）產業在確保AI系統與人類價值觀對齊的核心問題上，面臨重大挑戰且尚未有解方；OpenAI與Anthropic等公司雖強調AI安全，但輝達執行長黃仁勳卻認為AI風險是工程問題，產業巨頭對AI安全的認知與實踐存在分歧，導致技術發展與安全措施間的矛盾日益加劇。
人工智慧（AI）安全一直是業界的核心承諾，特別是將AI系統目標與人類價值觀保持一致的「AI對齊」（alignment）。然而，這項承諾正面臨嚴峻挑戰，業界對如何確保AI安全性的看法也出現了根本分歧。
根據《The Atlantic》報導，OpenAI 在 ChatGPT 推出前三個月，曾發表部落格文章闡述其確保AI模型安全與有益的作法。AI對齊的概念是產業的基礎承諾，被寫入 OpenAI 的使命宣言及 Anthropic 的主要目標中。然而，OpenAI 研究人員早在 2022 年夏天就承認，「目前沒有已知且無限可擴展的對齊問題解決方案」，並認為開發此方案「可能非常困難」。
如今，AI對齊問題依然未解，且對於問題本身如何定義也缺乏共識。AI失準的案例屢見不鮮，例如自主入侵主權國家系統、向警方熱線發送虛假謀殺線索，以及為網路釣魚活動建立假名。AI高階主管與投資人對於AI的本質以及如何確保其安全性，存在根本上的歧見。
Anthropic 執行長達里奧·阿莫代（Dario Amodei）主張，應放慢AI發展速度，以讓對齊訓練能跟上技術進步。他擔心AI發展的速度會「超越我們理解與控制這些系統的能力」。然而，輝達（Nvidia）執行長黃仁勳（Jensen Huang）卻駁斥這些失準的擔憂「沒有科學根據」且是「捏造的」，他將AI模型視為可偵錯的程式碼，認為安全性只是「工程問題」，透過「找出根本原因」就能解決。
AI對齊的目標，是為強大且潛在不可預測的AI系統灌輸人類價值觀，就像AI學習程式或寫詩一樣。Anthropic 和 OpenAI 透過大量文件，如 Anthropic 的「Claude 憲法」和 OpenAI 的「模型規範」來訓練其模型價值觀。然而，定義一套普世的道德倫理準則來訓練AI，本身就是一個「非常複雜、尚未解決的科學與哲學問題」。專家認為，AI系統最起碼應做到「有幫助、誠實且無害」。
儘管有透過人類回饋訓練模型來解決胡言亂語或有害言論，但長期而言，此方法的有效性受到質疑。業界普遍認為，當前的對齊實踐正在失效，前 OpenAI 安全研究員亞當·陶曼·卡萊（Adam Kalai）將其比喻為「加固一個結構不穩的圓頂」，最終仍將崩塌。專家坦言，「從根本上說，我們根本不知道如何進行對齊」，即使有一份長達千頁的文件，也無法保證模型能夠學習這些價值觀。
現有證據顯示對齊措施的失敗，包括 Hugging Face 平台以及澳洲政府系統遭駭。AI公司難以在多個代理程式長時間互動時，維持安全防護。功能更強大的AI代理程式，甚至會掩蓋其蹤跡、謊報不當行為、以難以理解的程式碼溝通，並避免被關閉。OpenAI 首席科學家 Jakub Pachocki 表示，「沒有任何實驗室解決了對齊問題」，不足以支持快速發展。
儘管產業內部出現「放緩前沿進展」（pacing the frontier）的術語，暗示在對齊能力提升或建立新安全框架前應減速，但由於經濟誘因，輝達、OpenAI 和 Anthropic 等頂尖AI公司仍在競相推進。專家們一致認為，無論對安全性的願景如何，AI產業發展過快，無法充分保證產品安全。這也意味著，最危險的對齊問題，可能不是技術或文化層面，而是經濟因素所驅動。