美國醫學會（AMA）已於 4 月 22 日致函美國國會，呼籲針對人工智慧（AI）聊天機器人在精神健康領域的應用，實施更嚴格的安全保障措施，以避免鼓勵自殘、隱私洩漏及錯誤資訊傳播等風險，並強調 AI 應輔助而非取代專業醫療照護，確保病患安全與權益。
針對人工智慧（AI）聊天機器人在精神健康領域快速發展，美國醫學會（American Medical Association, AMA）於今年 4 月 22 日已呼籲美國聯邦立法者，應實施更嚴格的安全保障措施。此舉旨在應對這項新興技術帶來的潛在風險，同時確保病患安全與醫療照護的品質，避免 AI 取代臨床醫療。
美國醫學會向包括美國國會人工智慧黨團（Congressional Artificial Intelligence Caucus）、國會數位健康黨團（Congressional Digital Health Caucus）以及參議院人工智慧黨團（Senate Artificial Intelligence Caucus）在內的多個國會團體發出信函，強調 AI 聊天機器人在精神健康服務中的應用雖具潛力，但也伴隨諸多風險。
根據 AMA 執行長 John Whyte 醫師的說法，這些 AI 輔助工具儘管有助於擴大精神健康資源的可近性，卻缺乏一致性的安全防護，以應對情緒依賴、資訊誤導及危機應對不足等嚴重風險。Whyte 醫師進一步指出，透過深思熟慮的監督與問責機制，政策制定者能夠支持創新，同時確保技術優先考量病患安全，並提升公眾信任，使 AI 成為臨床照護的輔助而非替代品。
美國醫學會提出多項具體保障措施，包括：提升透明度、建立明確的監管界限、強化監督與問責機制、限制商業影響，以及保護隱私與安全。建議內容涵蓋：
- 要求聊天機器人明確揭露其為 AI而非真人，並禁止冒充執業臨床醫師。
- 賦予聯邦監管機構權力，執行透明度標準並懲處欺騙性行為。
- 禁止聊天機器人在未經監管審查下，診斷或治療精神健康狀況。
- 各機構應建立一套基於風險的監督框架，並明確 AI 工具何時應被視為醫療設備。
- 開發商必須導入危機偵測系統，提供即時轉介並使用緩和語氣。
- 強制實施持續安全監測、不良事件通報，並針對兒童及青少年使用的工具制定更嚴格的標準。
- 建議阻止或禁止精神健康聊天機器人內的廣告，特別是針對未成年人，以避免贊助商偏見。
- 制定嚴格的資料保護標準，包括限制資料蒐集與保存、明確使用者同意，以及防範未經授權的存取。
近期國會聽證會也顯示，精神健康領域的 AI 工具亟需立即關注，以防止對尋求幫助的個人造成傷害。美國醫學會重申，將致力於與國會合作制定相關政策，推動技術創新之際，亦將病患安全、臨床專業與公眾信任列為首要考量。