衡量 LLM 導師是在教學還是僅在解題：教育影響力的診斷研究
arXiv - Computers and SocietyJunyi Yao, Zihao Zheng, Baichuan Li
研究發現 LLM 的解題能力與教學支持能力並不一致，強調評估 AI 導師不應僅看任務成功率。
AI 幫你先抓重點
AI 重點 1
解題能力不等於教學能力
滑鼠懸停看 AI 判斷理由
這打破了「模型越強，教學效果越好」的直覺假設。對於開發教育 AI 的人來說，若僅追求模型在數學或邏輯測試中的高分，可能會開發出一個「直接給答案」而非「引導思考」的工具，這對學習者無益。
AI 重點 2
建立雙維度的評估標準
滑鼠懸停看 AI 判斷理由
研究建議應將「解題導向」與「教學導向」分數分開報告。這能幫助開發者與研究者更精準地診斷 AI 的缺陷，從而針對性地優化其教學策略，如強化鷹架支撐而非單純提升運算能力。
核心研究發現
- 1
研究分析了八款公開模型在 MathTutorBench 的表現，發現解題能力與教學能力之間的相關性僅為 0.421，顯示兩者並非同步增長。
- 2
模型在不同評估維度下的排名存在顯著差異，這意味著擅長解題的模型在教學引導方面的表現未必優異。
- 3
評估基準中已包含對主動學習行為的編碼，特別是針對引導式提問、校準提示及非直接揭露答案的鷹架支撐進行評分。
對教育工作者的啟發
教育科技開發者在設計 AI 導師時，應將「學生自主性（Student Agency）」與「鷹架支撐（Scaffolding）」納入核心指標，而非僅追求正確率。課程設計者在評估 AI 工具時，應檢視其是否具備「非揭露式」的引導機制，例如透過提問而非直接給予答案來引導學生。建議在評估 AI 教學成效時，建立一套區分「任務完成度」與「教學支持品質」的雙軌評分系統，以確保 AI 真正促進了學習而非僅僅是代勞作業。
原始文獻資訊
- 英文標題：
- Measuring Whether LLM Tutors Teach or Solve: A Diagnostic for Educational Impact
- 作者：
- Junyi Yao, Zihao Zheng, Baichuan Li
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。