輝達推 AI 終止開關 軟硬體兼施防自主代理程式失控
科技生活

·a few seconds ago·方承業
#輝達#AI安全#人工智慧#軟硬體整合#終止開關
輝達推 AI 終止開關 軟硬體兼施防自主代理程式失控
商傳媒|方承業/綜合外電報導
摘要

輝達為防範人工智慧代理程式失控,推出結合軟體 OpenShell 與硬體 Sentry 的 Open Agent Safety Platform 安全系統,能從硬體層面即時隔離並終止越界的 AI 程式。

為因應人工智慧(AI)技術快速發展帶來的潛在風險,晶片龍頭輝達(Nvidia)推出一套名為 Open Agent Safety Platform 的安全系統,旨在防止自主運作的人工智慧代理程式(AI agent)超越其既定操作範圍,避免其行為失控。此平台結合了軟體與硬體層面的防護措施。

這套安全系統的核心包含兩個主要元件:軟體部分為 OpenShell,硬體部分則是 Sentry。OpenShell 是一個開源的安全執行環境,其運作方式是將 AI agent 放置在隔離的環境中。此設計理念採「預設不允許任何操作」,嚴格限制 AI agent 對檔案、網路、工具、憑證及其他資源的存取權限。

硬體層面的 Sentry 則獨立於 AI agent 運作,部署於輝達的 BlueField-4 資料處理器(DPU)上。Sentry 持續監測 AI agent 的活動,並從其隔離的硬體環境中強制執行安全策略。一旦 AI agent 試圖越界,Sentry 能在毫秒內迅速隔離並停止該程式,提供一個由硬體支援的終極安全網,以防範任何未經授權的行為。

輝達執行長黃仁勳(Jensen Huang)表示:「人工智慧對社會的巨大潛力,唯有在解決其安全性問題後才能實現。」這項開發旨在處理各界對自主 AI agent 的擔憂,並預防它們繞過現有安全控制的事件。除了輝達與 Anthropic 合作開發額外的安全控制外,微軟(Microsoft)、思科(Cisco)、CrowdStrike、戴爾科技(Dell Technologies)、Hugging Face、摩根大通(JPMorganChase)、派拓網路(Palo Alto Networks)、Salesforce、SAP 公司以及 xAI 等多家科技巨頭,也共同支援這項安全計畫。OpenShell 作為開源軟體,其應用範圍可進一步擴展至安謀(Arm)與英特爾(Intel)等第三方運算平台。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源