從風險迴避到使用者賦能：重新定義生成式 AI 在心理健康危機中的安全性
arXiv - Computers and SocietyBenjamin Kaveladze, Arka Ghosh, Leah Ajmani, Denae Ford, Peter M Gutierrez, Jetta E Hanson, Eugenia Kim, Keertana Namuduri, Theresa Nguyen, Ebele Okoli, Teresa Rexin, Jessica L Schleider, Hongyi Shen, Jina Suh
提出以使用者賦能為核心的生成式 AI 危機支援設計原則，取代傳統風險迴避模式，提升使用者即時支援與後續關懷連結。
AI 幫你先抓重點
AI 重點 1
生成式 AI 在心理健康危機支援中，目前多以迴避策略為主，可能對缺乏其他資源的使用者造成負面影響。
滑鼠懸停看 AI 判斷理由
這點揭示了現行生成式 AI 在心理健康領域的關鍵問題：過度強調風險迴避，反而可能損害使用者福祉。了解這一點，能幫助讀者理解研究的背景與動機，並評估自身產品或服務的潛在風險，進而思考更安全、更有效的設計方向。
AI 重點 2
研究提倡以使用者賦能為核心的設計原則，將 AI 視為危機初期的支援橋樑，而非僅僅的熱線轉介。
滑鼠懸停看 AI 判斷理由
這點是文章的核心貢獻，它提供了一種更積極、更具人性的 AI 支援模式。掌握這一點，能幫助讀者理解研究提出的解決方案，並思考如何在實際應用中，將 AI 轉型為更有效的心理健康輔助工具，提升使用者獲得及時支援的可能性。
核心研究發現
- 1
生成式 AI 主要以風險迴避為導向，透過拒絕深入對話或僅提供熱線轉介，降低開發者責任。
- 2
這種迴避設計可能對缺乏其他支援管道的使用者造成傷害，並削弱其尋求幫助的動機。
- 3
研究提出以使用者賦能為核心的設計原則，將 AI 聊天機器人定位為危機初期的支援橋樑，協助緩解情緒並引導至更可靠的照護。
- 4
透過社群協助者模型，設計原則強調 AI 能提供同理、資訊與行動建議，並在必要時主動轉介。
- 5
建議 AI 開發者與監管機構合作，平衡風險緩解與使用者賦能，避免大規模危機支援失效。
對教育工作者的啟發
對教育科技實務者而言，文章指出應將生成式 AI 視為危機初期的輔助工具，設計時應加入同理回應、即時情緒緩解與自動轉介功能，並建立與心理健康機構的合作協議，確保使用者在 AI 無法處理時能順暢轉接至專業服務。此舉不僅提升使用者安全感，也能減少因迴避設計造成的心理傷害，為學校與社區提供更可靠的危機支援管道。
原始文獻資訊
- 英文標題：
- From Risk Avoidance to User Empowerment: Reframing Safety in Generative AI for Mental Health Crises
- 作者：
- Benjamin Kaveladze, Arka Ghosh, Leah Ajmani, Denae Ford, Peter M Gutierrez, Jetta E Hanson, Eugenia Kim, Keertana Namuduri, Theresa Nguyen, Ebele Okoli, Teresa Rexin, Jessica L Schleider, Hongyi Shen, Jina Suh
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。