探討 LLM 自動作文評分中的母語偏誤：針對 TOEFL 論文的跨提示詞評估
arXiv - Computers and SocietyJohn Maurice Gayed
研究發現經 LoRA 微調的開源大型語言模型在自動作文評分上具備強大的跨提示詞泛化能力，卻存在顯著的母語背景評分偏誤。
AI 幫你先抓重點
AI 重點 1
揭示了開源模型在自動評分中潛藏的語言公平性風險。
滑鼠懸停看 AI 判斷理由
這項發現挑戰了「模型性能穩定即代表公平」的假設。即便模型在不同題目間表現一致，其內部的語言偏見仍可能導致特定文化或語言背景的學生在評分上處於劣勢，這對於推動教育公平至關重要。
AI 重點 2
強調了微調模型在應用於大規模評分時，必須進行跨文化公平性測試。
滑鼠懸停看 AI 判斷理由
研究證明偏誤並非來自訓練數據的組成，而是模型本身的特性。這提醒開發者，僅僅優化準確度是不夠的，必須將「公平性評估」納入 AI 評分系統的標準開發流程中。
核心研究發現
- 1
模型在未見過的八種 TOEFL 提示詞下表現穩定，展現出強大的跨提示詞泛化能力，且與主題相關性無顯著優勢。
- 2
模型在評分準確度上表現良好，整體等級一致性達 77.79%，二次加權 Kappa 值為 0.702。
- 3
模型存在系統性的母語偏誤：在相同能力等級下，歐洲語言背景的學生得分普遍高於東亞語言背景的學生。
對教育工作者的啟發
對於開發自動化評分系統的教育科技從業者，應警惕模型可能存在的「隱性偏誤」。建議在部署 AI 評分工具前，除了測試準確度與泛化能力外，必須針對不同母語背景（L1）的學生群體進行分層公平性測試。教育政策制定者在引入 AI 評量工具時，應要求開發商提供關於算法公平性與文化偏誤的審核報告，以確保評量結果不會因學生的母語背景而產生系統性的不公，進而維護教育評量的公正性。
原始文獻資訊
- 英文標題：
- Investigating first-language bias in LLM-based automated essay scoring: A cross-prompt evaluation of an open-weight AI-model on TOEFL essays
- 作者：
- John Maurice Gayed
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。