即時快訊
Perky榮獲MUSE國際設計雙銀獎,女性營養品牌累積六項國內外肯定 金門酒廠「一穀作契」100%本土契作好品質 獲得農業部農糧署國產農糧原料酒推薦 「公益同行・原社共好」 29家績優合作社齊聚華山 公彩成果展現就業與福利新動能 孕育兆美元輝達的傳奇美式餐廳 創辦紀念座位牌保留至今 美國屋頂太陽能發電量近十年暴增近五倍 全球運動AI市場名單出爐 日本企業掛零歐美科技巨頭強勢壟斷 創投看好AI降低門檻 一人微型創業成美國就業新趨勢 年末聚會前的輪廓焦慮?醫師 : 「看不出做過」成自然美感新趨勢 印度航太新創搶攻火箭引擎商機 獲利基訂單拚太空產業分工 葡萄牙搶攻美國資本 美資存量翻倍衝破 160 億歐元
圖/本報資料庫
科技生活

·2 months ago·葉安庭
#AI Agent#軟體測試#可重現性#AgentInspect#OpenTelemetry
圖/本報資料庫
圖/本報資料庫
商傳媒|葉安庭/綜合外電報導
摘要

AI Agent開發者面臨「在我的提示下能運行」的測試挑戰,因程式碼或輸入改變可能導致行為不一致。為解決此問題,OpenTelemetry的追蹤技術可提供更全面的執行軌跡,而新的工具 AgentInspect 則協助開發者確保AI Agent的可重現性與可驗證性,強化了測試與審查流程,有助於台灣AI社群提升開發可靠度。

隨著人工智慧(AI)應用日益普及,開發者在建構 AI Agent(自主執行任務的智慧程式)時面臨新的挑戰,過去軟體工程師常說的「在我機器上能運行」,如今卻成了「在我的提示下能運行」。這種現象導致 AI Agent 在不同情境下(例如程式碼版本更新、輸入資料改變或執行流程拉長)可能產生不一致的行為,即使輸出結果看似合理,內部執行過程也可能潛藏錯誤。

例如,一個客服 AI Agent 可能在尚未檢索公司政策前就生成答案、重複呼叫工具,甚至錯誤地使用未經批准的備用方案。這種「答案正確性」與「內部執行軌跡」之間脫鉤的問題,在生產級軟體中尤其關鍵。專家指出,AI Agent 的正確性應涵蓋三個層面:答案的實用性與準確性(Answer Correctness)、工具使用順序與完成度(Trajectory Correctness),以及對執行過程的可檢視性(Evidence Correctness)。然而,多數測試目前仍偏重答案正確性,忽略了後兩者。

傳統的日誌記錄(logs)只能提供事件串流,不足以完整追溯 AI Agent 的執行軌跡,因為軌跡中包含了關鍵的順序、父子關係、重複步驟及遺漏環節等資訊。為解決此問題,OpenTelemetry(一個開源資料流處理平台)的追蹤(traces)機制提供了更強大的基礎,能以具有父子關係的跨度圖來呈現 AI Agent 的執行流程。透過這種追蹤,每次 AI Agent 的運行都能轉化為可供審查的「證據產物」(reviewable artifact),此產物會經歷擷取、標準化、檢視、檢查、編輯敏感資訊、打包與驗證的生命週期。

軟體工具 AgentInspect 便應運而生,作為一套適用於 TypeScript AI Agent 的本地證據偵錯與軌跡測試工具。它旨在回答「AI Agent 執行時採取了什麼路徑?」這個核心問題。AgentInspect 的主要工作流程為:擷取本地追蹤資訊 → 檢視執行樹 → 確定性地檢查軌跡 → 產生已編輯敏感資訊的「證據包」(Evidence bundle)→ 離線驗證該證據包。這使得開發者能透過 CI/CD 持續整合流程,對 AI Agent 的內部行為進行確定性檢查,例如驗證特定工具是否被呼叫、禁止的工具是否出現、生成行為是否發生在檢索之前,以及運行是否完成等。

這種將 AI Agent 運行轉化為可檢視證據產物的方法,讓開發者團隊能更有效地審查與測試 AI Agent,並減少對記憶與螢幕截圖的依賴。透過此類工具與實踐,台灣的 AI 研發社群在開發 AI Agent 時,也能提升其可靠性與透明度,從而加速 AI 應用的落地與普及。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源