情感 AI 安全：大型語言模型安全研究中缺失的一環
arXiv - Computers and SocietyCarolin Ifl\"ander, Alba Curry, Flor Miriam Plaza-del-Arco, Amanda Cercas Curry
本文提出「情感安全」概念，並建立分類法以應對 AI 與人類情感互動所產生的新型風險。
AI 幫你先抓重點
AI 重點 1
從「認知安全」轉向「情感安全」的範式轉移
滑鼠懸停看 AI 判斷理由
過去我們認為 AI 只要不說錯話、不產生偏見就是安全的，但忽略了 AI 可能透過情感操縱或影響使用者自我認知來造成深層傷害，這要求開發者重新定義安全邊界。
AI 重點 2
關注 AI 對人類身分與關係的長期累積影響
滑鼠懸停看 AI 判斷理由
情感傷害往往不是單次事件，而是透過長期的互動累積而成，這意味著評估 AI 安全不能僅靠單次的測試，必須考慮到對使用者心理結構與社會關係的長期影響。
核心研究發現
- 1
現有的 AI 安全研究過度集中於知識性與物理性傷害（如錯誤資訊、偏見），卻忽略了 AI 與人類情感生活互動所產生的風險。
- 2
研究開發了一套情感傷害分類法，包含情感自我異化、公平性與偏見傷害，以及關係性傷害三大類別。
- 3
現有的 AI 安全框架在處理情感安全問題時，要麼範圍過於狹隘，要麼完全未能涵蓋相關風險。
- 4
情感安全面臨技術與監管的雙重挑戰，需要專門針對累積性、關係性及身分層級影響的框架進行研究。
對教育工作者的啟發
對於教育科技設計者而言，當 AI 被應用於輔導、心理諮商或高度互動的學習環境時，必須超越「內容正確性」的檢核，轉而建立「情感安全」評估機制。建議在設計 AI 學習夥伴或導師時，需考量其對學生自我認同（Self-identity）的影響，避免學生產生過度依賴或情感異化。此外，課程設計者應引導學生培養對 AI 情感互動的批判性意識，讓學習者理解 AI 的情感回應僅是模擬，以維護其心理健康與健康的社交關係。
原始文獻資訊
- 英文標題：
- Affective AI Safety: The Missing Piece in LLM Safety
- 作者：
- Carolin Ifl\"ander, Alba Curry, Flor Miriam Plaza-del-Arco, Amanda Cercas Curry
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。