大型語言模型在真實雙重評分 GCSE 基準測試中的表現分析
arXiv - Computers and SocietyMalachy Fox, Kavi Samra, Paul Jung
研究發現大型語言模型在評分一致性上甚至能超越人類閱卷員之間的共識，展現高度自動化評分的潛力。
AI 幫你先抓重點
AI 重點 1
AI 評分的一致性可能超越人類閱卷員的共識水平。
滑鼠懸停看 AI 判斷理由
這挑戰了傳統認為「人工評分最準確」的認知。如果 AI 能提供比人類專家之間更穩定的評分標準，將能大幅減少評分的主觀偏差與不公平性，為大規模標準化考試提供更客觀的基準。
AI 重點 2
自動化評分不一定需要極大規模的模型，具備高成本效益。
滑鼠懸停看 AI 判斷理由
這對於教育科技的實際落地至關重要。研究顯示模型規模與表現並非線性相關，這意味著學校或教育機構可以使用較輕量、低成本的 AI 模型來實現即時反饋，而不必受限於昂貴的運算資源。
核心研究發現
- 1
研究建立了一個包含 32,534 份真實學生 GCSE 模擬考答案的數據集，涵蓋五個學科及 328 個問題，包含手寫內容。
- 2
大型語言模型在各學科中的評分與閱卷員共識高度一致，部分頂尖模型的表現甚至比兩位人類閱卷員之間的共識更接近。
- 3
模型在處理主觀性任務（如英文作文評分）以及解析複雜且混亂的手寫數學試卷時，皆展現出極高的評分準確度。
- 4
模型表現與模型規模（參數大小）之間並無顯著的歧視性差異，這意味著使用較小規模的模型也能提供具成本效益的自動評分方案。
對教育工作者的啟發
對於教育實務者而言，這項研究預示了「即時自動評分」的可能性。課程設計者可以利用 AI 評分技術，在學生完成作業或練習後立即提供詳細的反饋，而非等待教師人工批改。這對於大規模的形成性評量（Formative Assessment）極具價值。此外，由於模型在處理手寫與主觀作文上表現優異，教育機構可以開始規劃將 AI 整合進數位學習平台，以減輕教師批改負擔，並將精力轉向更深層次的教學互動。
原始文獻資訊
- 英文標題：
- LLM Performance on a Real, Double-Marked GCSE Benchmark
- 作者：
- Malachy Fox, Kavi Samra, Paul Jung
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。