了解教師對大型語言模型生成回饋的修訂
arXiv - Computers and SocietyConrad Borchers, Luiz Rodrigues, Newarney Torrez\~ao da Costa, Cleon Xavier, Rafael Ferreira Mello
研究教師對LLM生成回饋的修訂行為，發現80%不改、編輯偏長、可用機器學習預測，且修訂往往簡化回饋。
AI 幫你先抓重點
AI 重點 1
教師80%不改LLM回饋，證明AI回饋已具備可直接使用價值。
滑鼠懸停看 AI 判斷理由
研究顯示大多數AI生成的回饋已足夠清晰且具備教育價值，教師不需額外修改，說明LLM在實務中的即時可用性與成本效益。
AI 重點 2
機器學習模型以AUC 0.75預測編輯需求，助教師快速定位需修訂回饋。
滑鼠懸停看 AI 判斷理由
模型僅依賴AI回饋文本即可預測編輯機率，提供自動化篩選工具，教師可將時間集中於高風險或高資訊的回饋，提升工作效率。
核心研究發現
- 1
大約80%教師接受LLM回饋不做修改，僅在20%情況下進行編輯。
- 2
編輯後的回饋文字長度顯著增加，教師往往在後續將其縮短。
- 3
教師間編輯行為差異大，約50%教師從不編輯，僅10%教師編輯超過三分之二的回饋。
- 4
以句子嵌入為特徵的機器學習模型能以AUC 0.75準確預測哪些回饋會被編輯。
- 5
質性編碼顯示，編輯時教師傾向簡化回饋，將高資訊說明轉為簡潔的糾正性回饋。
對教育工作者的啟發
實務上，教師可先將LLM回饋直接呈現給學生，僅對高資訊說明進行簡化與重構，保持回饋簡潔且具糾正性。教育科技平台可嵌入機器學習模型，於教師編輯前自動標示可能需調整的回饋，節省編輯時間。課程設計者則可利用此研究結果，設計教師培訓模組，強調如何將AI回饋轉化為符合學習目標的簡明糾正訊息，並評估其對學生自我調節學習的影響。
原始文獻資訊
- 英文標題：
- Understanding Teacher Revisions of Large Language Model-Generated Feedback
- 作者：
- Conrad Borchers, Luiz Rodrigues, Newarney Torrez\~ao da Costa, Cleon Xavier, Rafael Ferreira Mello
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。