利用大型語言模型進行 Linux/bash 考試自動評分：基於四層認知分類法之研究
arXiv - Computers and SocietyManuel Alonso-Carracedo, Ruben Fernandez-Boullon, Pedro Celard, Francisco J. Rodriguez-Martinez, Lorena Otero-Cerdeira
本研究證實透過認知分類法與結構化提示詞，LLM 能有效輔助評分 Linux 指令作業，但複雜度越高準確度越低。
AI 幫你先抓重點
AI 重點 1
認知複雜度是衡量 AI 評分可靠性的關鍵預測指標。
滑鼠懸停看 AI 判斷理由
這改變了我們對自動評分的認知：我們不應追求「全自動」，而應根據問題的認知層級（從資訊檢索到系統管理）來決定哪些題目適合 AI 批改，哪些必須由人類審核，從而建立混合式評分機制。
AI 重點 2
提示詞工程（Prompt Engineering）優於模型選擇。
滑鼠懸停看 AI 判斷理由
這對教育工作者極具實務意義，意味著在設計 AI 輔助評分系統時，投入精力開發精確的評分量規與結構化指令，比單純追求使用最強大的模型更能提升評分的公平性與一致性。
核心研究發現
- 1
Gemini 1.5 Pro 搭配結構化評分量規（Rubric）表現最佳，與專家評分的一致性最高（ICC = 0.888）。
- 2
評分準確度隨認知層級增加而下降，在處理高階系統管理（L4）等複雜任務時，AI 與人類專家的差異最明顯。
- 3
提示詞的品質（是否包含結構化量規）對評分準確度的影響，比選擇哪種 AI 模型供應商更為顯著。
對教育工作者的啟發
教育工作者在導入 AI 自動評分時，應採取「分層管理策略」。首先，建立一套基於認知層級的分類框架，將簡單的指令操作（L1-L2）交由 AI 進行初步批改以節省人力；對於涉及複雜邏輯與系統架構的進階問題（L3-L4），則應將 AI 定位為「預評分助手」，最後仍須由教師進行人工覆核。此外，設計評分時應優先開發結構化的評分量規（Rubrics），並將其整合進提示詞中，而非僅依賴模型本身的判斷力，這能顯著提升評分的穩定性與可靠度。
原始文獻資訊
- 英文標題：
- Automated grading of Linux/bash examinations using large language models: a four-level cognitive taxonomy approach
- 作者：
- Manuel Alonso-Carracedo, Ruben Fernandez-Boullon, Pedro Celard, Francisco J. Rodriguez-Martinez, Lorena Otero-Cerdeira
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。