透過數據驅動認知剖析建模學習者異質性,以預測選擇題難度

arXiv - Computers and SocietyDhriti Krishnan, Jaromir Savelka

提出一種結合潛在類別分析與大型語言模型(LLM)的新框架,透過模擬不同學習者人格特質來精準預測選擇題難度。

AI 幫你先抓重點

AI 重點 1

從「單一能力模型」轉向「異質認知剖析」的範式轉移。

滑鼠懸停看 AI 判斷理由
傳統評量模型常假設學生能力是單一維度的常態分佈,忽略了錯誤觀念(misconceptions)的多樣性。此研究證明考慮學習者行為特徵(Personas)能更精準地捕捉題目難度的本質。
AI 重點 2

利用 LLM 作為模擬學習者行為的合成數據生成器。

滑鼠懸停看 AI 判斷理由
這展示了 LLM 不僅能生成內容,還能作為「數位代理人」來模擬特定認知特質的群體,為教育評量提供了一種低成本且具解釋性的模擬手段。

核心研究發現

  1. 1

    該研究提出以「人格驅動」的框架取代傳統單一能力的假設,利用潛在類別分析(LCA)從 EEDI 資料集中識別出不同的學習者行為人格。

  2. 2

    透過 LLM 模擬各類人格的反應分佈,並結合主題背景與 Ridge 回歸模型,成功預測項目反應理論(IRT)的難度參數。

  3. 3

    實驗結果顯示,該方法顯著優於基準模型,其均方誤差(MSE)從 0.367 降至 0.274,決定係數(R2)從 0.525 提升至 0.686。

對教育工作者的啟發

對於課程設計者與評量專家而言,這項研究提供了開發「診斷性評量」的新思路。開發者不應僅僅根據學生的總分來判斷題目難度,而應分析題目是否觸及了特定錯誤觀念群體的認知盲點。在設計數位學習系統時,可以利用類似的「人格模擬」技術,在題目正式發布前,先預測不同程度或不同學習風格的學生在面對該題目時可能遇到的障礙,從而優化題目的難度梯度與反饋機制。

原始文獻資訊

英文標題:
MCQ Difficulty Prediction via Modeling Learner Heterogeneity Using Data-Driven Cognitive Profiling
作者:
Dhriti Krishnan, Jaromir Savelka
來源:
arXiv - Computers and Society
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。