透過情境工程建立與評估 K-12 生成式 AI 評分工具
arXiv - Computers and SocietyZewei Tian, Alex Liu, Lief Esbenshade, Michael Xiao, Zachary Zhang, Yulia L\'apicus, Thomas Han, Kevin He, Min Sun
研究探討利用大型語言模型結合情境工程進行 K-12 評分的效果，發現其在理科表現優異，且更適合作為形成性評量工具。
AI 幫你先抓重點
AI 重點 1
將 AI 定位為「形成性工具」而非「總結性評量者」
滑鼠懸停看 AI 判斷理由
這改變了教育者對 AI 的期待。與其強求 AI 給出絕對正確的分數，不如利用其強大的敘述能力提供即時回饋，這能更有效地支持學習過程，同時降低教師對 AI 評分準確性的疑慮。
AI 重點 2
混合式評量模型（Hybrid Model）是未來的趨勢
滑鼠懸停看 AI 判斷理由
研究強調 AI 效率與教師專業判斷的結合。這提醒實務工作者，AI 的角色是減輕行政負擔並提升回饋品質，而非取代教師的專業權威，這種協作模式能確保評量的公平性與專業性。
核心研究發現
- 1
研究顯示參數規模較大的模型在數學與科學評量中，與人類評分者展現出高度的一致性。
- 2
在英文語言藝術（ELA）領域，LLM 評分器的表現較理科科目更具變異性，顯示通用模型在特定語境下的表現不一。
- 3
師生回饋顯示，使用者對 AI 生成的敘述性回饋接受度高，但對其給出的分數存在懷疑態度。
- 4
研究證實透過情境工程（Context Engineering）與提示工程，可使 LLM 有效執行標準導向評量（SBG）。
對教育工作者的啟發
教育工作者應將 GenAI 應用於提供「敘述性回饋」而非單純「給分」。在設計評量時，可利用 AI 快速生成針對學生表現的具體建議，以支持形成性評量（Formative Assessment）。此外，在理科領域可更放心地嘗試自動化評分，但在人文學科則需保留更多人工審核。建議開發者在設計工具時，應著重於「情境工程」，透過提供明確的評分量規（Rubric）來提升 AI 的評分穩定性，並建立「人機協作」的機制，讓 AI 輔助教師減輕批改負擔，而非完全交由 AI 決定成績。
原始文獻資訊
- 英文標題：
- Creating and Evaluating K-12 GenAI Assessment Graders Through Context Engineering
- 作者：
- Zewei Tian, Alex Liu, Lief Esbenshade, Michael Xiao, Zachary Zhang, Yulia L\'apicus, Thomas Han, Kevin He, Min Sun
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。