即時快訊
Perky榮獲MUSE國際設計雙銀獎,女性營養品牌累積六項國內外肯定 金門酒廠「一穀作契」100%本土契作好品質 獲得農業部農糧署國產農糧原料酒推薦 「公益同行・原社共好」 29家績優合作社齊聚華山 公彩成果展現就業與福利新動能 孕育兆美元輝達的傳奇美式餐廳 創辦紀念座位牌保留至今 美國屋頂太陽能發電量近十年暴增近五倍 全球運動AI市場名單出爐 日本企業掛零歐美科技巨頭強勢壟斷 創投看好AI降低門檻 一人微型創業成美國就業新趨勢 年末聚會前的輪廓焦慮?醫師 : 「看不出做過」成自然美感新趨勢 印度航太新創搶攻火箭引擎商機 獲利基訂單拚太空產業分工 葡萄牙搶攻美國資本 美資存量翻倍衝破 160 億歐元
圖/示意圖
科技生活

·3 個月前·葉安庭
#Meta#XR Operator#AI Agent#虛擬實境#虛擬互動
圖/示意圖
圖/示意圖
商傳媒|葉安庭/綜合外電報導
摘要

Meta 推出實驗性工具 XR Operator,首次讓人工智慧 Agent 能夠直接操控 XR 虛擬應用程式,從設定頭部姿態、按鈕控制器到讀取場景資訊,不僅可加速遊戲測試與品質保證,更為開發者開創 AI 虛擬互動的新可能。

Meta 近日發表實驗性工具 XR Operator,為延展實境(XR)應用開發帶來新突破。這項工具首次讓人工智慧 Agent(能執行任務的人工智慧程式)能夠直接操控 XR 虛擬環境,有助於大幅提升開發與測試效率。

XR Operator 透過基於 OpenXR(XR 領域的開放標準)的 API 層運作,並利用 MCP(模型上下文協議,一種讓 AI 工具發現並呼叫程式功能的開放標準)在應用程式內啟動本地伺服器,讓 AI Agent 得以存取並控制虛擬世界的各項功能。

藉由 XR Operator,AI Agent 不僅能設定虛擬頭部的空間位置和方向,還能透過控制器(包含按鈕、扳機、握把與搖桿)與虛擬環境進行互動。此外,它能讀取 Unity 場景圖,識別使用者介面(UI)中的按鈕、開關及滑桿,甚至能列出房間、牆壁、地板、家具等空間實體及其語義標籤,並捕捉虛實整合的複合圖像。

Meta 在其示範中展示 AI Agent 撰寫井字遊戲的邏輯,並成功操控虛擬控制器來放置棋子,直到完成勝利。這項技術特別適合重複性的品質保證(QA)任務,例如啟動建構、導航選單以及確認按鈕功能變更後的運作狀況,能透過自然語言描述情境,由 Agent 執行後回報結果並附上截圖證明。

不過,Meta 也坦承 XR Operator 存在多項限制。該工具無法處理音訊,因此空間音效和混音等級等無法檢測;也無法正確評估動畫與運動表現。此外,它缺乏個別手指追蹤功能,對細微的視覺缺陷反應不佳,且運行速度不足以進行即時互動,因此較難處理動態目標。Meta 建議 XR Operator 最適用於「靜態、確定性情境」。

要體驗 XR Operator,開發者需使用 Unity 6000.0.x 或更高版本、Meta XR Core SDK v205 或更高版本、OpenXR Plugin 1.17.0 或更高版本,以及支援 MCP 的編碼工具(例如 Claude Code)。目前文件頁面顯示其最後更新日期為 2026 年 7 月 27 日。Meta 將此工具定位為實驗性組件,並提醒工具名稱、API 和行為可能隨時變動。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源