簡易陷阱：為何大型語言模型會低估由錯誤觀念驅動的題目難度
arXiv - Computers and SocietyAmanda La Hadi, Muhammad Johan Alibasa, Guanliang Chen, A. Taufiq Asyhari
研究發現 LLM 在評估數學題目難度時，會因無法識別學習者的錯誤觀念而系統性地低估特定題目的認知難度。
AI 幫你先抓重點
AI 重點 1
警惕 LLM 在自動化評量系統中的「簡易陷阱」現象。
滑鼠懸停看 AI 判斷理由
這改變了我們對 AI 能力的認知：LLM 擅長理解邏輯結構，卻難以模擬人類在學習過程中的認知偏差與錯誤觀念，若直接用於設計自適應學習系統，可能導致難度判斷失準。
AI 重點 2
區分「課程難度」與「認知難度」的重要性。
滑鼠懸停看 AI 判斷理由
這對於教育設計者至關重要。理解 AI 僅能模擬教學進度上的難度，能提醒開發者在建立 AI 輔助教學工具時，必須引入更多實證數據來校準 AI 對學生心理模型的理解。
核心研究發現
- 1
LLM 生成的難度評分與學生實際表現呈中度相關（Spearman's rho = 0.52-0.70），能捕捉題目難度的粗略排序。
- 2
在分數題目上出現顯著的系統性偏差，LLM 認為簡單的題目（如 100 : 1/2）在學生實際測試中正確率極低（僅 34.16%）。
- 3
LLM 傾向於估計「課程難度」（基於教學順序的預期難度），而非由學習者錯誤觀念所導致的「認知難度」。
對教育工作者的啟發
教育科技開發者在設計自適應學習系統（Adaptive Learning）時，不應僅依賴 LLM 的預測難度來調整學習路徑。建議採取「AI 預測 + 實證數據校準」的混合模式，特別是在處理容易產生錯誤觀念的概念（如分數、負數）時，必須結合學生的實際答題數據進行修正，以避免系統因低估難度而導致學生挫折感過高或學習進度失控。
原始文獻資訊
- 英文標題：
- The Easy Trap: Why LLMs Underestimate Misconception-Driven Difficulty
- 作者：
- Amanda La Hadi, Muhammad Johan Alibasa, Guanliang Chen, A. Taufiq Asyhari
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。