透過大型推理模型之認知片段實現可解釋的人類題目難度預測
arXiv - Computers and SocietyChenguang Wang, Ming Li, Xinyue Zeng, Zhuochun Li, Hong Jiao, Tianyi Zhou, Dawei Zhou
提出 Epi2Diff 框架，將大型推理模型的思考軌跡轉化為認知片段，以精準且可解釋地預測人類解題難度。
AI 幫你先抓重點
AI 重點 1
難度定義從「文本屬性」轉向「認知負擔的結果」
滑鼠懸停看 AI 判斷理由
這改變了傳統教育測量的思維，不再僅僅分析題目寫了什麼，而是觀察解題過程中的認知負荷，這為自動化評量提供了更深層的心理學基礎。
AI 重點 2
利用大型推理模型（LRM）的過程證據進行可解釋建模
滑鼠懸停看 AI 判斷理由
過去 AI 預測難度常被視為黑箱，但透過將推理軌跡結構化為「認知片段」，我們能理解 AI 認為題目難在哪裡，這對教育評量公平性至關重要。
核心研究發現
- 1
Epi2Diff 框架在四個真實難度數據集上表現優異，在 SAT 基準測試中比監督式 LLM 微調模型平均提升了 8.1%。
- 2
研究發現，高難度題目並非僅僅因為回答較長，而是會誘發更多努力程度、迭代過程以及以實作為中心的認知片段動態。
- 3
透過將推理軌跡映射為功能性的問題解決狀態（認知片段），模型能從推理規模、努力分配與狀態轉換中提取特徵。
對教育工作者的啟發
對於課程設計者與評量專家，此研究建議在開發數位學習系統時，不應只關注最終答案的正確與否，應開始關注學習者（或 AI 代理）在解題過程中的「認知軌跡」。透過分析學習者在不同步驟間的轉換頻率、嘗試錯誤的迭代次數以及認知負擔的分配，可以更精準地識別出哪些題目真正具有挑戰性，進而設計出更具適應性的學習路徑與難度分級教材。
原始文獻資訊
- 英文標題：
- Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction
- 作者：
- Chenguang Wang, Ming Li, Xinyue Zeng, Zhuochun Li, Hong Jiao, Tianyi Zhou, Dawei Zhou
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。