大型語言模型心理健康回覆中幻覺與遺漏之風險因素分析
arXiv - Human-Computer InteractionCongning Ni, Sarvech Qadir, Bryan Steitz, Mihir Sachin Vaidya, Qingyuan Song, Lantian Xia, Shelagh Mulvaney, Siru Liu, Hyeyoung Ryu, Leah Hecht, Amy Bucher, Christopher Symons, Laurie Novak, Susannah L. Rose, Murat Kantarcioglu, Bradley Malin, Zhijun Yin
本研究透過系統性測試，揭示了大型語言模型在心理健康議題上回覆中，遺漏關鍵資訊的風險高於產生不實內容，並點出情境與語調是影響回覆品質的重要因素。
AI 幫你先抓重點
AI 重點 1
評估模型回覆的「遺漏」比「幻覺」更重要。
滑鼠懸停看 AI 判斷理由
在心理健康領域，提供不正確的資訊（幻覺）固然有害，但更危險的是未能提供必要的安全指引或支持（遺漏），這可能導致更嚴重的後果，因此優先關注遺漏的風險至關重要。
AI 重點 2
情境與語調是影響模型回覆品質的關鍵。
滑鼠懸停看 AI 判斷理由
研究發現，模型在理解和回應不同情境及語調的提問時表現差異很大，尤其是在處理危機和自殺意念時。這意味著在訓練和評估模型時，需要更注重對不同情境的模擬和測試，以提升其在真實世界中的應用能力。
核心研究發現
- 1
大型語言模型在心理健康問題回覆中，約 6.5% 的回覆出現幻覺（捏造或不正確的臨床內容）。
- 2
約 13.2% 的回覆存在遺漏（缺乏必要的臨床指引或安全關鍵的建議）。
- 3
在危機及自殺意念的提問中，模型更容易出現遺漏，顯示其在處理高危險情境時的不足。
- 4
回覆失敗與提問的情境及語調有顯著關聯，而使用者背景資訊並未顯示出系統性的影響。
- 5
研究建議將評估遺漏作為評估心理健康領域大型語言模型安全性的主要指標，並超越靜態基準問題集。
對教育工作者的啟發
教育科技開發者應將重點放在提升大型語言模型在處理高敏感度、高風險情境（如自殺意念）時的安全性，特別是避免遺漏關鍵的臨床資訊。在模型訓練和評估階段，應採用多樣化的提示，模擬真實世界的使用者提問，並針對不同情境和語調進行系統性測試。此外，應將「遺漏」作為重要的安全指標，並建立更完善的監控機制，以確保模型提供的回覆符合倫理和專業標準。教育工作者也應了解大型語言模型在心理健康領域的潛在風險，並謹慎使用相關工具。
原始文獻資訊
- 英文標題：
- Disentangling Prompt Element Level Risk Factors for Hallucinations and Omissions in Mental Health LLM Responses
- 作者：
- Congning Ni, Sarvech Qadir, Bryan Steitz, Mihir Sachin Vaidya, Qingyuan Song, Lantian Xia, Shelagh Mulvaney, Siru Liu, Hyeyoung Ryu, Leah Hecht, Amy Bucher, Christopher Symons, Laurie Novak, Susannah L. Rose, Murat Kantarcioglu, Bradley Malin, Zhijun Yin
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。