具備面部表情感知能力的共情式大型語言模型教學研究
arXiv - Human-Computer InteractionShuangquan Feng, Laura Fleig, Ruisen Tu, Philip Chi, Edmund Bu, Melinda Ozel, Junhua Ma, Teng Fei, Virginia R. de Sa
研究證實透過整合面部表情特徵（AU）至提示詞中，能顯著提升 LLM 教學代理人的共情回應能力。
AI 幫你先抓重點
AI 重點 1
無需重新訓練模型即可實現多模態感知
滑鼠懸停看 AI 判斷理由
這項研究證明了透過「提示工程（Prompting）」而非「端到端重新訓練」，就能讓 LLM 獲得情感感知能力，這為開發低成本、高擴展性的情感化教育工具提供了可行路徑。
AI 重點 2
結構化表情描述優於原始視覺輸入
滑鼠懸停看 AI 判斷理由
將面部表情轉化為文本形式的 AU 描述，能有效彌補純視覺輸入在 LLM 理解上的不足，這對於設計未來具備情感智能的數位學習環境具有重要的架構啟發。
核心研究發現
- 1
使用動作單位（AU）估計模型進行條件化處理，能一致性地提升不同 LLM 背景下的共情回應能力。
- 2
相較於隨機選擇面部幀作為視覺輸入，基於 AUM 引導的峰值表情幀選擇法表現更優。
- 3
引入面部表情資訊能增強共情能力，且不會損害教學的清晰度或對文本指令的響應能力。
- 4
AI 評估者與人類評分者在評估面部表情引導的共情維度上展現出高度的一致性。
對教育工作者的啟發
對於開發 AI 教學系統的設計者，建議不要僅依賴文本對話，應考慮整合輕量化的面部表情特徵（如 AU 描述）作為提示詞的一部分。這能讓 AI 察覺學生的挫折或困惑，提供更具溫度的支持。此外，研究顯示將表情轉化為結構化文本描述，比直接餵入隨機影像更能有效提升模型的共情品質，且不會影響教學邏輯的嚴謹性，這對於開發具備社會情緒學習（SEL）功能的數位導師極具參考價值。
原始文獻資訊
- 英文標題：
- Facial-Expression-Aware Prompting for Empathetic LLM Tutoring
- 作者：
- Shuangquan Feng, Laura Fleig, Ruisen Tu, Philip Chi, Edmund Bu, Melinda Ozel, Junhua Ma, Teng Fei, Virginia R. de Sa
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。