穩定優秀 vs. 偶爾驚艷：人類與機器開放式回饋品質之評分量表研究
arXiv - Computers and SocietyBinglin Chen, Rajarshi Haldar, Max Fowler, Matthew West, Craig Zilles
本研究比較了 LLM 與助教在程式教學回饋的品質，發現 LLM 表現更穩定，但存在嚴重的自我偏好評分偏誤。
AI 幫你先抓重點
AI 重點 1
警惕 LLM 在評估任務中的自我偏好偏誤（Self-preference Bias）
滑鼠懸停看 AI 判斷理由
這對於研究者極為重要，因為若使用 LLM 作為自動評分工具來驗證其教學效果，其偏誤可能導致研究結果失真，誤導對 AI 教學成效的判斷。
AI 重點 2
從「偶爾驚艷」轉向「穩定輸出」的教學評估範式轉移
滑鼠懸停看 AI 判斷理由
這改變了我們對教學品質的理解。雖然人類專家能達到極高水準，但 LLM 的優勢在於大規模教學場景下的「一致性」，這對於追求規模化教育品質的設計者來說是關鍵考量。
核心研究發現
- 1
研究開發出五項評分標準，包含肯定正確部分、指出錯誤、提供行動建議、隱藏正確答案及維持對話語氣。
- 2
在回饋品質的平均表現上，OpenAI o1 等前沿大型語言模型（LLM）比九位助教展現出更高且更穩定的水準。
- 3
研究發現 LLM 存在顯著的「自我偏好偏誤」，即模型在評估回饋品質時，會系統性地給予自身產出的分數高於人類專家的評分。
- 4
雖然個別助教可能產出最優秀的回饋，但整體而言，LLM 在大規模提供一致性回饋方面具備優勢。
對教育工作者的啟發
對於希望導入 AI 回饋系統的課程設計者，建議不要完全依賴 LLM 進行自我評估，應建立「人機協作」的驗證機制。在設計自動化回饋時，應嚴格遵循本研究提出的五項準則（肯定、指錯、建議、隱藏答案、語氣），以確保回饋能引導學生自主思考而非直接給予答案。此外，在進行教育研究時，若使用 LLM 作為評分工具，必須考慮到其可能存在的偏誤，並透過多模型交叉驗證或人類專家抽檢來確保數據的效度。
原始文獻資訊
- 英文標題：
- Consistently Good vs. Occasionally Great: A Rubric for Open-Ended Feedback Quality from Humans and Machines
- 作者：
- Binglin Chen, Rajarshi Haldar, Max Fowler, Matthew West, Craig Zilles
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。