量化情感差距：大型語言模型在細粒度情緒分類任務中的零樣本評估
arXiv - Human-Computer InteractionLawrence Obiuwevwi, Krzysztof J. Rechowicz, Jessica M. Johnson, Vikas Ashok, Sachin Shetty, Sampath Jayarathna
本研究評估了三大頂尖 LLM 在 13 種細粒度情緒分類任務中的表現，發現模型在處理複雜情緒時存在顯著侷限。
AI 幫你先抓重點
AI 重點 1
大型語言模型在細粒度情緒理解上存在「技術天花板」。
滑鼠懸停看 AI 判斷理由
這意味著目前的 AI 無法僅靠零樣本提示（Zero-shot）就精準捕捉人類複雜的情感細微差別，這對於開發需要高度情感共鳴的 AI 輔助教學系統或心理健康工具提出了警示。
AI 重點 2
模型預測結果存在類別不平衡的系統性偏差。
滑鼠懸停看 AI 判斷理由
了解模型在特定情緒（如 Claude 的表現）上的偏差，能幫助開發者在設計教育互動場景時，避免過度依賴 AI 的情緒判斷，並意識到 AI 可能會忽略某些關鍵的情感訊號。
核心研究發現
- 1
在 13 種情緒分類任務中，Gemini 表現最佳（準確率 39.9%），其次為 GPT-5.4（38.8%）與 Claude（38.0%）。
- 2
所有模型在識別「諷刺」與「渴望」方面表現優異，但在「愛」、「困惑」與「羞愧」等情緒上表現持續低迷。
- 3
Claude 的 Macro-F1 分數顯著較低，顯示其在預測時存在明顯的類別不平衡偏差。
- 4
McNemar 檢定顯示模型間無統計學上的顯著差異，暗示零樣本情緒識別已達到目前的技術天花板。
對教育工作者的啟發
對於開發教育科技產品的設計者而言，此研究提醒我們在設計「情感感知型學習環境」（如 AI 導師或情緒監測系統）時，不可盲目信任 AI 的情緒判斷能力。特別是在處理學生可能表現出的「困惑」或「羞愧」等學習關鍵情緒時，AI 的誤判率可能很高。建議在實務應用中，應結合多模態數據（如語音、表情）或採用「少樣本學習（Few-shot）」來提升準確度，並在系統設計中保留人類教師介入的機制，以補足 AI 在細粒度情感理解上的不足。
原始文獻資訊
- 英文標題：
- Quantifying the Affective Gap: A Zero-Shot Evaluation of LLMs on Fine-Grained Emotion Taxonomies
- 作者：
- Lawrence Obiuwevwi, Krzysztof J. Rechowicz, Jessica M. Johnson, Vikas Ashok, Sachin Shetty, Sampath Jayarathna
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。