微軟專家籲：用兩款開源工具打造安全AI代理

為協助工程師與開發者在人工智慧（AI）代理的開發初期即建構安全機制，微軟（Microsoft）昨日推出兩款開源工具：Rampart 和 Clarity。此舉由微軟「數據牛仔」（data cowboy）Ram Shankar Siva Kumar 及其 AI Red Team 主導，旨在將 AI 安全提升至工程實務的層次。

其中，Rampart 是一個測試框架，它運用真實世界的網路攻擊技術，協助工程師與事故應變人員在開發過程中測試 AI 代理的安全性。這款工具特別針對「提示詞注入」（prompt injection）攻擊進行防護，此類攻擊發生在 AI 代理攝取含有惡意指令的文件、資料或電子郵件時，這些指令旨在影響其行為，例如指示代理忽略安全協議、分享敏感資料或散布不實資訊。Rampart 建構於微軟的另一個開源工具 PyRIT 之上，後者主要用於識別系統建構後的生成式 AI 風險。

另一款工具 Clarity 則扮演「試金石」的角色，協助開發團隊在進入正式開發階段前，檢查其假設與想法是否周全。Ram Shankar Siva Kumar 強調，AI 代理的時代已然來臨，如同「萊特兄弟首次飛行」般的關鍵時刻，它們將持續存在。他表示，希望能賦能工程師，讓他們從一開始就思考如何安全、穩固地建構這些代理。

Ram Shankar Siva Kumar 也指出，AI 代理的失敗不僅限於攻擊者的行動，也可能來自非攻擊性的錯誤。他認為，最終目標是確保代理的行為符合預期，而這兩款工具正能幫助開發者實現此目標。