大型語言模型在認知行為治療(CBT)引導的情感推理中存在哪些缺陷?

arXiv - Human-Computer InteractionVaishnavi Sinha, Pooja Guttal, Pranay Deep Reddy Katike, Vishal Sinha, Gerald Ndawula, Lira Yoon, Andrea Kleinsmith, Manas Gaur

研究發現 LLM 雖具備 CBT 理論知識,但在實際對話中仍傾向於重複「驗證與反映」,難以有效應用專業策略。

AI 幫你先抓重點

AI 重點 1

知識儲備與實際應用能力之間存在巨大的「能力鴻溝」。

滑鼠懸停看 AI 判斷理由
這挑戰了「模型知識越多,應用能力越強」的直覺。對於開發教育 AI 的人來說,僅僅餵入大量理論教材是不夠的,必須解決模型如何將知識轉化為特定情境下正確行為的技術難題。
AI 重點 2

模型存在預設的「行為慣性」,難以透過簡單提示詞克服。

滑鼠懸停看 AI 判斷理由
這說明了目前的 LLM 在處理複雜情感推理時,存在一種趨於「安全且平庸」的模式偏好。這提醒研究者在設計 AI 導師或心理支持工具時,需要更深層次的架構設計,而非僅依賴 Prompt Engineering。

核心研究發現

  1. 1

    LLM 在 CBT 執照考試題目中可達 96% 的準確率,但在實際對話應用中卻表現不佳。

  2. 2

    研究提出 Protocol Leverage Force (F) 指標,用以衡量干預措施將模型行為從預設模式轉移的程度。

  3. 3

    單純使用單一鏈式思考(CoT)提示詞無法改變模型行為,而多重鏈式思考(MCoT)雖能改善策略選擇,但效果僅提升約 1.2-1.3%。

  4. 4

    即便引入專業框架,所有測試的模型仍表現出強烈的偏誤,傾向於停留在「驗證與反映」階段。

對教育工作者的啟發

對於開發 AI 輔助學習或心理支持系統的設計者,本研究提供了重要警示:不要過度依賴模型本身的「理論知識」。在設計教學對話或情感支持系統時,應考慮建立更結構化的推理框架(如 MCoT),並開發專門的評估指標(如 F 指標)來監控 AI 是否真的在執行預期的教學或治療策略,而非僅僅是在進行無意義的同理心回應。這對於設計能引發深度思考(如蘇格拉底式提問)的 AI 導師至關重要。

原始文獻資訊

英文標題:
Where do LLMs Fall Short in CBT-Guided Affective Reasoning?
作者:
Vaishnavi Sinha, Pooja Guttal, Pranay Deep Reddy Katike, Vishal Sinha, Gerald Ndawula, Lira Yoon, Andrea Kleinsmith, Manas Gaur
來源:
arXiv - Human-Computer Interaction
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。