AI Agent自主下單恐釀越權風險 資安專家籲建立分級授權機制
科技生活

·幾秒前·何映辰
#AI Agent#供應鏈安全#OpenAI#資安防護#企業管理
AI Agent自主下單恐釀越權風險 資安專家籲建立分級授權機制
商傳媒|何映辰/台北報導
摘要

隨著 AI Agent 開始自主執行供應鏈採購與調度,專家示警若未落實分級授權,AI 連鎖操作恐超出財務承諾上限。同時資安測試亦發現 AI 傳輸管道存在資料外洩漏洞,企業應將操作權限嚴格限制於系統端。

隨著人工智慧從單純提供建議,邁向能直接執行採購、調度與系統操作的自主代理(AI Agent,即具備自主決策與執行任務能力的智慧代理系統),企業供應鏈管理正迎來高度自動化的轉變。然而,產業分析與資安專家近日相繼發出警告,若企業未能明確劃分 AI 的「分析能力」與「執行權限」,將使供應鏈面臨嚴重的商業越權與資料外洩危機。

連鎖呼叫累積風險 OpenAI 架構引發權限反思

物流產業分析指出,在複雜的供應鏈管理流程中,AI Agent 可能在單一操作中僅執行被許可的小額或低風險呼叫,但透過多次連續自動化調度後,累積的合約或財務承諾可能大幅超出企業原本預期的商業授權範圍。例如自動追加零組件訂單或更改運輸路線,看似各自合理的微調,最終卻可能形成鉅額財務敞口。

針對此問題,業界近期引述了 OpenAI 提出的「Deploying Daybreak Red 參考架構」。該框架原本應用於資安防護領域,核心原則在於將模型具備的技術能力與系統操作權限嚴格分離。專家認為,供應鏈系統應採納這項邏輯:無論 AI 在技術上能做到多少事,系統端僅能賦予其完成當前任務所需的最小權限,而非無限制開放 API 存取。

專家倡導漸進式自主權 防範人為監督流於形式

為建立安全邊界,資安領域提出的「漸進式自主權」模型受到重視。在該機制下,不可逆或金額重大的商業決策必須保留人工核准,僅有低風險、可撤銷的操作才允許全自動執行。包含美國國家標準技術研究所(NIST)與相關安全組織,亦持續強調應為 AI Agent 建立獨立的數位身分管理與即時監控機制,而非單純依賴 Prompt(提示詞)來約束模型行為。

資安主管與業界專家在討論中指出,評估 AI 自主權的核心標準在於:系統能否執行不可逆行為、是否能自行選擇行動手段,以及能否自行驗證決策結果。若前線人員因缺乏充足時間、資訊或專業能力去審查 AI 的產出,人工監督往往會淪為蓋橡皮圖章的過場程序。因此,企業治理的焦點應轉向「究竟是誰核准了該 AI 系統的決策範圍」,而非在出事後將責任歸咎於演算法。

轉發管道爆資安漏洞 外洩憑證成供應鏈隱憂

除了權限失控,AI 供應鏈底層的資料傳輸安全同樣亮起紅燈。美國資安專家 H·D·穆爾(HD Moore)近日公布一項測試結果,研究團隊在送往 AI 推理服務與閘道路由器的 Prompt 中植入約 200 萬個數位誘標,結果發現多個服務商存在資料外洩問題,甚至在通報前對漏洞毫不知情。

測試顯示,至少有三家 AI 代管服務商遭駭客入侵並竊取客戶的 Prompt 內容,部分號稱零資料保留的轉售商內部甚至違規側錄傳輸資料。在該次測試中,更有約 200 組 AWS 存取憑證外洩並遭到攻擊者測試存取。對於高度依賴外部 AI 閘道連接企業資源規劃系統的業者而言,這類基礎架構漏洞已對供應鏈資料安全構成實質威脅。

專家強調,企業在將 AI Agent 導入採購、庫存與物流等關鍵決策環節時,績效指標不應僅著眼於作業速度與任務完成率,更必須將財務風險防範、越權阻截能力與系統可靠性納入核心評估標準。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源