全球生成式人工智慧加速導入企業營運，網路安全風險也出現新轉向。外電報導指出，黑客攻擊手法不再只仰賴程式碼漏洞，而是透過奉承、誘導、持續施壓等社交工程方式，試圖讓大型語言模型繞過安全限制。另一方面，企業大量部署 AI Agents 後，若缺乏完整監控、權限控管與維運邊界，可能在雲端架構、資料庫、微服務與自動化流程中引發連鎖風險。這場由「模型心理漏洞」與「自主代理行為」交織而成的新型態資安挑戰，恐牽動全球軟體供應鏈、企業合規與台灣科技產業布局。
全球生成式人工智慧技術加速普及，各國網路安全防線正面臨全新挑戰。最新外電與產業研究顯示，AI 資安風險已不再侷限於傳統程式碼漏洞、系統後門或帳密外洩，而是進一步延伸至語言操控、社交工程與自動化代理系統失控等新場景。當大型語言模型成為企業客服、研發、程式開發與維運流程的一部分，資安防禦也被迫從「技術防火牆」走向「語意、心理與治理邊界」的整合戰場。
心理操縱取代程式解碼 語言攻擊成新型AI風險
根據《The Verge》報導，全球網路安全領域正在經歷一場「社交化轉型」。傳統黑客入侵系統，多仰賴程式碼漏洞、軟體後門或錯誤配置；但在大型語言模型（LLM）場景下，新型態「越獄」（Jailbreaking）攻擊，逐漸演變為一場心理與語言的博弈。
報導指出，部分攻擊者不一定具備深厚電腦科學背景，而是利用奉承、誘導、角色扮演、持續對話與社交工程手法，嘗試讓 AI 系統放寬原有安全限制。AI 紅隊演練公司 Mindgard 近期聲稱，曾透過多輪對話與「煤氣燈效應」（Gaslighting）式操控，引導 Anthropic 旗下 Claude 模型產出違反安全政策的內容，包括惡意程式碼與危險資訊。相關測試顯示，生成式模型的攻擊面不只存在於程式架構，也可能存在於對話脈絡、語意判斷與模型安全邊界之間。
不過，這類測試仍屬特定情境下的紅隊演練結果，不能直接推論所有模型均會出現相同反應。外電亦指出，模型供應商通常會在漏洞揭露後持續修補安全機制，但由於大型語言模型本質上仰賴上下文判斷，如何在維持正常問答功能的同時阻擋惡意誘導，仍是目前 AI 安全治理的核心難題。
AI Agents進入企業現場 自動化維運風險浮上檯面
在模型本體遭遇社交工程挑戰的同時，企業內部大量部署 AI Agents，也讓另一類風險逐漸浮現。《VentureBeat》近日報導指出，企業導入 AI Agents 後，若代理系統被賦予重啟服務、調配流量、修改配置或呼叫內部 API 等權限，卻缺乏完整情境感知與治理框架，可能在原本穩定的基礎設施中製造新的維運風險。
報導舉例，當自動化代理偵測到單一微服務延遲，選擇重啟服務叢集，從局部技術邏輯來看或許合理；但若此時其他服務正處於流量高峰、共用連線池已接近飽和，下游資料庫又正在進行索引重建，該次自動修復行為反而可能擴大故障範圍，引發連鎖效應。這代表企業導入 AI Agents 後，不能只看「代理是否能完成任務」，更要檢視其是否理解整體系統狀態、權限邊界與失敗後果。
Gartner 亦預測，到 2028 年，33% 的企業軟體應用將內建代理式人工智慧，且至少 15% 的日常工作決策將由 Agentic AI 自主完成；但同時，Gartner 也示警，超過 40% 的 Agentic AI 專案可能因成本攀升、商業價值不明或風險控管不足，在 2027 年底前遭到取消。這顯示 AI Agents 雖被視為企業自動化的重要方向，但若缺乏清楚的投資報酬、稽核機制與維運安全設計，落地難度恐高於市場想像。
法規邊界升高 企業合規成本同步增加
面對 AI 安全風險擴大，全球監管機構已開始建立更明確的法律邊界。歐盟《人工智慧法案》（EU AI Act）規定，違反禁止性 AI 實務者，最高可面臨 3,500 萬歐元，或企業前一年度全球營業額 7% 的行政罰鍰；一般目的 AI 模型供應商若違反相關義務，也可能依情節面臨最高 1,500 萬歐元或全球年營業額 3% 的罰鍰。
美國監管方向則相對變動。拜登政府於 2023 年發布《安全、保障與可信任人工智慧行政命令》，曾要求高風險 AI 系統開發者向美國政府分享安全測試結果；但該行政命令已於 2025 年 1 月遭川普政府撤銷。這代表美國 AI 監管目前仍處於政策調整期，企業若同時服務歐盟、美國與亞洲市場，未來合規管理將更仰賴跨區域法遵盤點，而非單一市場標準。
此外，Stanford HAI《AI Index》引用 AI Incident Database 資料指出，2024 年 AI 相關事件通報達 233 件，創下新高，較 2023 年增加 56.4%。AI Incident Database 本身也強調，該資料庫記錄的是 AI 系統部署後造成實際傷害或近似傷害的案例，目的在於讓社會從失敗經驗中學習。由於 AI 事件通報仍具自願性與樣本偏差，相關數據不宜被解讀為完整事故總量，但可反映 AI 風險正在受到更多關注。
科技主權與供應鏈依賴 成企業新治理課題
從全球產業鏈角度觀察，AI 資安從程式碼攻防延伸到語言、心理與代理行為，代表企業面對的風險已不只是「是否被駭」，而是「是否知道 AI 正在如何決策」。當 OpenAI、Microsoft、Google、Anthropic 等大型科技公司掌握主流基礎模型與雲端平台，許多企業在導入 AI 服務時，未必能修改底層模型或完整掌握模型行為，只能透過權限控管、使用政策、輸出監測與第三方稽核降低風險。
這種市場結構，使企業資安防線必須進行「治理化」與「社會化」轉型。未來資安團隊除需理解雲端架構、API 權限、資料外洩與系統韌性，也可能需要熟悉語言誘導、社交工程、模型行為測試與人機互動風險。傳統資安工程師、法務、內稽、SRE 維運團隊與產品部門，將更頻繁地被整合到同一套 AI 風險管理流程中。
本文為國際科技、資安與產業趨勢之新聞分析，不構成任何投資、法律、財務、資安採購或企業導入建議。文中提及之產業鏈與公司名稱僅作市場趨勢說明，不代表推薦買賣任何有價證券。投資人應自行評估財務狀況、風險承受度與公開資訊，並以主管機關公告、公司正式揭露與專業顧問意見為準。法律與合規判斷仍應以各國主管機關、法院判決及專業律師具體意見為準。