即時快訊
美跨黨派力推首部聯邦影視稅收抵免法案 挽救流失產值 歐盟推氣候韌性架構 催生年產值逾兩兆元減災商機 防債市失序爆流動性危機 美聯準會官員籲提前訂定干預準則 美軍實測雷射反無人機武器 勝出廠商可獲採購大單 淡江大橋半日遊!紅毛城旁文森食堂享藍帶料理與河景 Google簽全球首筆超高溫岩石地熱合約 最快2030年供電資料中心 台中西區老宅餐廳 以砂鍋粥、私房菜與茶飲打造舒適的用餐空間 女兒竟然願意喝羊奶!媽媽Threads分享掀討論 卡洛塔妮羊乳新品受關注 體重管理不只看體重!Kamee咖米運動會倡議個人化營養管理 美國9月企業庫存月增0.5% 銷售強勁庫銷比降至1.33個月
解析提示詞注入攻擊 資安專家揭AI三大致命特徵
科技生活

·幾秒前·林昭衡
#提示詞注入#生成式AI#資安防護#深偽技術#西門·威利森
解析提示詞注入攻擊 資安專家揭AI三大致命特徵
商傳媒|林昭衡/綜合外電報導
摘要

外媒指出,駭客正透過「提示詞注入」手法劫持企業 AI 助理。專家警告,若 AI 同時具備存取內部機密、讀取外部未驗證內容與對外通訊三大能力,恐遭植入惡意指令並濫用權限外洩資料。

企業加速導入生成式人工智慧(AI)工具與自主代理(Agent)的同時,新型態資安威脅正悄然成形。外媒《Quartz》報導,隨著駭客將目光轉向大型語言模型,「提示詞注入」(Prompt Injection)攻擊已成為企業部署 AI 系統時面臨的嚴峻挑戰。

提示詞注入攻擊的概念由英國軟體工程師西門·威利森(Simon Willison)於 2022 年 9 月提出。簡單來說,這種攻擊手法就像在網頁或電子郵件中埋入「隱形指令」,當 AI 讀取這些內容時,會誤將惡意文字當成使用者的合法指示來執行,進而遭駭客劫持控制權。

構成風險的「三大致命特徵」

西門·威利森指出,一個 AI 代理系統若同時具備三種能力,將面臨極高的攻擊風險:

  • 存取私有資料:包括員工收件匣、共享雲端硬碟、行事曆、程式碼或客戶機密紀錄。
  • 接觸不受信任的內容:AI 讀取任何外部人士可能撰寫的文字,例如外來郵件、公開網頁、廠商共用文件或客服表單。
  • 具備對外通訊能力:系統擁有向外傳遞資訊的管道,包括寄送電子郵件、呼叫外部網址、向第三方服務發布資料或產生存取連結。

西門·威利森強調,這三項條件檢驗的是「AI 代理具備哪些執行權限」,而非單看系統提示詞(Prompt)寫了什麼。一旦惡意指令成功注入,攻擊者便能直接借用該 AI 擁有的最高權限,擅自發送郵件、篡改客戶資料,甚至在伺服器上執行惡意程式碼,將內部機密向外洩漏。

從深偽視訊到AI劫持 新型社交工程升級

除了針對文字輸入的提示詞注入,AI 帶來的身分偽冒威脅早已在現實中造成巨額損失。《Quartz》報導提到,國際工程顧問企業奧雅納(Arup)在 2024 年 2 月即曾遭香港警務處通報,一名香港員工在即時視訊會議中,被深偽(Deepfake)技術生成的假同事與高層欺騙,蒙受高達 2,500 萬美元的損失。

過去傳統的商務電子郵件詐騙(BEC)多半仰賴文字偽造,如今即時換臉與語音合成軟體門檻大幅降低,攻擊者能即時在鏡頭前偽裝多名信任對象,打破了以往「視訊面對面即安全」的防線。駭客仍會透過公開會議演講或財報電話會議蒐集聲音與影像,進行前期情蒐。

專家對此提醒,無論是防範深偽視訊或提示詞注入攻擊,企業資安團隊都不應單純依賴 AI 本身的判斷或鏡頭身分確認。在部署具備自動執行權限的 AI 助理時,必須嚴格隔離未受信任的外部輸入與內部機密資料庫,針對高額資金轉帳或關鍵資料變更,也應堅持透過獨立的次要管道核實,以防自動化系統反成資安破口。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源