大型語言模型作為數學考試評分助教：可靠性與實務可用性研究
arXiv - Computers and SocietyAastha Sapkota, M. G. Sarwar Murshed
本研究評估多種 LLM 在離散數學考試評分中的表現，發現採用「寬鬆型」提示詞能有效提升評分準確度。
AI 幫你先抓重點
AI 重點 1
提示詞策略（Prompting Policy）對評分準確性的決定性影響
滑鼠懸停看 AI 判斷理由
研究顯示從嚴格轉向寬鬆的提示詞策略能顯著減少錯誤，這提醒教育者在設計 AI 評分系統時，不能僅依賴標準量規，必須考慮 AI 對部分分數與推理過程的識別能力。
AI 重點 2
分數校準（Calibration）與排名一致性（Rank Preservation）的差異性
滑鼠懸停看 AI 判斷理由
即便模型在總分誤差上表現優異，其與人類評分的一致性（相關係數）未必最高。這意味著開發 AI 評分工具時，需區分目標是為了「精準給分」還是「維持學生間的相對排名」。
核心研究發現
- 1
研究比較了六種主流 LLM 配置，發現採用「寬鬆（LIBERAL）」評分政策能降低所有模型在題目層級的平均絕對誤差（MAE）。
- 2
在題目層級評分中，ChatGPT 5.5 Thinking (LIBERAL) 展現了最低的平均絕對誤差 (1.87) 與均方根誤差 (2.53)。
- 3
在總分評分方面，Gemini 3.1 Pro Extended (LIBERAL) 取得了最低的總分 MAE (8.00) 與 RMSE (10.66)。
- 4
Gemini 3.1 Pro Extended (BASELINE) 在總分皮爾森相關係數表現最優 (0.58)，顯示分數校準與排名保存是不同的目標。
對教育工作者的啟發
對於希望導入 AI 評分的教育者，建議不要僅使用標準的評分量規（Rubric）直接餵給 AI，因為 AI 可能會因過於嚴格而忽略有效的解題步驟。實務上應設計更具包容性的「寬鬆型」提示詞，鼓勵 AI 識別學生的部分推理過程，以獲得更接近人類教師的評分結果。此外，在評估 AI 工具時，應同時檢視其「分數誤差」與「排名一致性」，以確保評分結果在教學應用上的可靠性。
原始文獻資訊
- 英文標題：
- LLMs as Teaching Assistants for Mathematics Exam Grading: Reliability, and Practical Usability
- 作者：
- Aastha Sapkota, M. G. Sarwar Murshed
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。