利用 LLM 生成設計問題以評估專題式學習中的高階思考能力
arXiv - Computers and SocietyAhmad D. Suleiman, Daqing Hou, Maliha Noushin Raida
本研究提出利用 LLM 生成情境化設計問題，有效彌補傳統專題評估難以捕捉高階思考與知識遷移能力的不足。
AI 幫你先抓重點
AI 重點 1
設計問題（DPs）提供了與傳統專題評估互補的新評估維度。
滑鼠懸停看 AI 判斷理由
傳統專題評估往往受限於成果展示，難以區分學生是真正理解概念還是僅僅完成任務。DPs 透過要求知識遷移，能更精準地檢測學生是否具備在高壓或新情境下應用知識的能力。
AI 重點 2
AI 在教育評估工具設計中扮演著「減輕負擔」與「提升品質」的雙重角色。
滑鼠懸停看 AI 判斷理由
教師在設計高品質、具挑戰性的情境題目時常面臨高昂的時間成本。利用 LLM 輔助生成題目，不僅能解決規模化產出的問題，還能透過生成多樣化的情境來強化評估的有效性。
核心研究發現
- 1
研究顯示 LLM 能產出高品質且具專家共識的設計問題，有效減輕教師在設計情境化題目時的負擔。
- 2
學生在設計問題上的表現與傳統專題成績相關性極低，顯示設計問題能捕捉到傳統評估無法測量的不同高階思考面向。
- 3
鍵盤輸入數據顯示，學生在處理設計問題時展現出更深層的認知參與，包含更頻繁的規劃與修改行為。
對教育工作者的啟發
教育工作者在進行專題式學習（PBL）時，不應僅依賴最終成果評分。建議引入「設計問題」作為評估工具，要求學生將專題學到的概念應用於全新的情境中。此外，可利用 LLM 輔助設計這些情境題目，以節省開發時間並確保題目的多樣性。同時，應關注學生在解決問題過程中的行為數據（如修改與規劃過程），這比單純的最終答案更能反映其高階思考與認知參與程度。
原始文獻資訊
- 英文標題：
- LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning
- 作者：
- Ahmad D. Suleiman, Daqing Hou, Maliha Noushin Raida
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。