隨著科技公司加速發展AGI，全球監管機構與學術界對於該技術可能帶來的風險仍抱持高度關注。兩位全球頂尖AI專家近日示警，這樣的發展可能導致人類無法控制AI，甚至帶來不可預測的風險。
隨著人工智慧（AI）技術的進步，許多科技公司開始推動具備「代理能力」（agentic AI）的AI系統，試圖讓機器不僅能夠理解世界，還能自主行動；然而，兩位全球頂尖AI專家近日示警，這樣的發展可能導致人類無法控制AI，甚至帶來不可預測的風險。
節目《Beyond The Valley》邀請麻省理工學院（MIT）教授暨「未來生命研究所」（Future of Life Institute）主席Max Tegmark，以及被譽為「AI教父」之一的蒙特婁大學（Université de Montréal）教授Yoshua Bengio，對AGI（人工通用智慧）的未來發展發表看法。兩人皆認為，隨著AI代理系統的興起，人類可能正在無意間打造出一種全新的智能物種，而這樣的技術方向充滿未知與風險。
Bengio指出，目前AI研究人員受人類智慧的啟發，試圖打造具備學習能力與目標驅動行為的機器，這種方式正是當前AGI發展的核心方向；然而，這種方法可能極其危險，因為它可能讓AI擁有自主目標，進而做出不符合人類需求的決策。
Bengio表示「我們正在創造一種新的智能實體，但我們無法確保它們是否會按照我們的需求運作。所有AI災難場景的核心問題，都是因為AI擁有自己的目標；如果AI發展出自我保護的行為，那麼人類可能會陷入與絕頂聰明AI的競爭局面，這是一場極其危險的賭局」。
與此同時，Tegmark提出另一種AI發展的路線，即所謂的「工具型AI」（Tool AI）。這類AI專門執行特定任務，例如：醫療診斷、數據分析等，而不具備自主決策能力。Tegmark認為，這樣的設計可以減少AGI可能帶來的風險，並確保人類仍能掌控AI系統。
Tegmark強調，「我們可以創造出幫助人類治療癌症的AI，甚至是擁有部分自動駕駛能力的汽車AI，但前提是我們必須能夠證明它們仍然受控；如果我們能夠在AI系統上市前設立嚴格的安全標準，確保它們無法失控，那麼AI產業仍能夠快速發展，同時降低風險」。
Tegmark的「未來生命研究所」曾於2023年發出公開信，呼籲暫停開發超越人類智慧的AI系統，以便制定相關安全規範；儘管該倡議未能促成開發暫停，但Tegmark表示，現在至少已有更多人開始關注AGI安全問題，接下來的關鍵是如何落實有效的監管機制。
關於AGI何時能夠真正實現，業界看法分歧，部分專家認為這仍是一個遙遠的目標，而另一些則預測其將比大眾預期更快到來。
OpenAI執行長阿特曼（Sam Altman）曾表示，公司已經掌握開發AGI的方法，並認為AGI的到來將早於大多數人的預期；不過，他同時淡化AGI的影響，認為這項技術的真正變革性不如外界想像那麼巨大。
儘管如此，隨著科技公司加速發展AGI，全球監管機構與學術界對於該技術可能帶來的風險仍抱持高度關注。AI代理系統是否會真正失控，仍然是一個充滿爭議性的問題。