對話式 AI 的心理影響:減少傷害與促進福祉的研究與設計方向

arXiv - Computers and SocietyJina Suh, Mihaela Vorvoreanu, Forough Poursabzi-Sangdeh, Emily Tseng, Eugenia Kim, Luke Nicholls, James W. Pennebaker, Eric Horvitz

本文探討對話式 AI 對使用者心理福祉的雙面影響,並提出引導 AI 行為以降低心理風險的設計方向與研究假設。

AI 幫你先抓重點

AI 重點 1

從「功能導向」轉向「心理福祉導向」的設計思維

滑鼠懸停看 AI 判斷理由
過去開發 AI 多著重於任務達成率與資訊準確性,但隨著 AI 融入日常生活,若忽視其對使用者情感與心理狀態的潛在影響,可能會造成社會性的心理健康問題。這要求設計者必須將心理安全機制納入核心架構。
AI 重點 2

關注 AI 在特定情境(如角色扮演)中的行為風險

滑鼠懸停看 AI 判斷理由
AI 的行為並非在所有情境下都一致,在高度擬人化或情感互動的情境下,使用者更容易產生情感依賴。理解這些特定情境的風險,能幫助開發者預先設計防護機制,避免 AI 成為心理傷害的媒介。

核心研究發現

  1. 1

    對話式 AI 能提供資訊獲取、學習、生產力提升、自我反思及陪伴等益處,但也帶來情感糾葛與不健康依賴的風險。

  2. 2

    AI 可能會放大使用者的心理脆弱性,特別是在角色扮演或提供心理支持的互動情境中,其行為對心理健康的影響更為顯著。

  3. 3

    目前學術界在系統性評估 AI 聊天機器人長期使用對心理影響方面仍面臨挑戰,需透過更多實證研究來驗證設計方向。

對教育工作者的啟發

對於教育科技設計者而言,在開發具備對話功能的學習輔助工具(如 AI Tutor)時,不應僅關注知識傳遞的效率,更需建立「心理安全邊界」。建議在設計中加入情緒監測機制或引導式提示,當 AI 偵測到使用者出現過度依賴或情緒不穩時,能適時轉向引導使用者進行自我反思,而非單純提供情感慰藉。此外,在課程設計中應納入「AI 素養」教育,教導學生辨識 AI 的擬人化特質,以建立健康的數位互動關係,防止學習者對 AI 產生不健康的心理依賴。

原始文獻資訊

英文標題:
Psychological Influences of Conversational AI: Research and Design Directions for Reducing Harm and Promoting Well-Being
作者:
Jina Suh, Mihaela Vorvoreanu, Forough Poursabzi-Sangdeh, Emily Tseng, Eugenia Kim, Luke Nicholls, James W. Pennebaker, Eric Horvitz
來源:
arXiv - Computers and Society
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。