Avalon-ToM-Bench：透過非對稱遊戲機制評估細粒度的心理理論能力
arXiv - Computers and SocietyYen-Shan Chen, Yu Chian Duan, Chih-En Kuo, Jian-Bin Wu, Yun-Nung Chen
研究提出一個基於遊戲機制的基準測試，揭示大型語言模型在心理理論推理與表達之間存在顯著落差。
AI 幫你先抓重點
AI 重點 1
「表徵」與「表達」之間的斷層
滑鼠懸停看 AI 判斷理由
這項發現挑戰了「模型無法理解」的直覺。它指出模型內部可能已經掌握了邏輯，但無法將其轉化為正確的語言輸出，這對於設計 AI 輔助教學或社交互動系統至關重要。
AI 重點 2
推理能力需透過訓練內化而非僅靠提示工程
滑鼠懸停看 AI 判斷理由
這說明了在開發具備高階認知能力的 AI 時，單純依賴 Chain-of-Thought 等提示技術是不夠的，必須透過結構化的訓練來建立穩固的推理策略。
核心研究發現
- 1
模型表現出強大的遊戲規則理解力，但在社交推理方面表現較弱，顯示其失敗主因是社交推理能力不足而非缺乏領域知識。
- 2
線性探測顯示模型隱藏層常能正確表徵心理狀態（準確率 77-82%），但其生成的文字內容（CoT）卻無法準確表達這些推理。
- 3
專門的推理訓練能顯著提升表現，而僅靠測試時的思維鏈（CoT）推理僅能帶來微小的增益，顯示 ToM 依賴於學習到的推理策略。
對教育工作者的啟發
對於開發教育用 AI 代理（AI Agents）的設計者而言，此研究提醒我們不能僅透過觀察 AI 的對話輸出（如 CoT）來判斷其是否真正理解學生的心理狀態或意圖。在設計具備社交情感支持功能的學習系統時，應著重於強化模型內部的推理策略訓練，而非僅僅優化提示詞。此外，在評估 AI 的認知能力時，應採用更具結構化、能區分「知識掌握」與「推理表達」的細粒度評估工具，以確保 AI 能在複雜的社交學習情境中提供精準的引導。
原始文獻資訊
- 英文標題：
- Avalon-ToM-Bench: Evaluating Fine-Grained Theory of Mind via Asymmetric Game Mechanics
- 作者：
- Yen-Shan Chen, Yu Chian Duan, Chih-En Kuo, Jian-Bin Wu, Yun-Nung Chen
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。