利用資訊決定評分法，擴增評量量表與文本衍生項目
arXiv - Computers and SocietyJoe Watson, Ivan O'Connor, Chia-Wen Chen, Luning Sun, Fang Luo, David Stillwell
本研究提出資訊決定評分法(IDS)，利用大型語言模型分析自由文本，生成與傳統評量量表協同校準的項目，提升測量精確度與效度。
AI 幫你先抓重點
AI 重點 1
IDS 框架的資訊獲取導向，顛覆傳統文本評分模式。
滑鼠懸停看 AI 判斷理由
傳統文本評分往往依賴預先定義的規則或人工標註，而 IDS 則著重於從文本中挖掘有價值的資訊，這代表一種更具彈性和潛力的評量方法，對於教育評量領域具有重要意義。
AI 重點 2
利用 LLM 輔助評量，能有效提升測量精確度與效率。
滑鼠懸停看 AI 判斷理由
研究結果表明，LLM 衍生的項目能提供與傳統量表項目相當甚至更豐富的資訊，並且能加速高精度測量的達成，這對於大規模評量或需要快速回饋的場景具有重要應用價值。
核心研究發現
- 1
傳統評量量表雖常用，但難以捕捉複雜經驗，而IDS框架能有效利用伴隨的非結構化文本資料。
- 2
IDS框架強調資訊獲取，而非忠於專家評分標準或人工標註資料，這與傳統自動文本評分方法不同。
- 3
在抑鬱症研究中，利用IDS框架生成的項目能顯著提升測量精確度與準確性，並強化與自殺意念測量工具的收斂效度。
- 4
在適應性測驗中，IDS框架生成的項目所提供的信息量相當於增加 6.3 到 16.0 個傳統評量量表項目。
- 5
IDS框架能加速高精度測量的達成，在測驗初期即能提供可靠的評估結果，提升整體效率。
對教育工作者的啟發
教育工作者可考慮利用 IDS 框架，將學生在開放式問題或寫作任務中產生的文本資料納入評量，以更全面地了解學生的學習狀況。這不僅能提升評量的精確度，也能為學生提供更具針對性的回饋。此外，研究結果也提示，在設計評量工具時，應重視資訊獲取的效率，而非僅僅依賴傳統的量表項目。課程設計者可以探索如何將 IDS 框架融入到專題式學習或自主學習的評量中，以促進學生更深入的學習。
原始文獻資訊
- 英文標題：
- Augmenting Rating-Scale Measures with Text-Derived Items Using the Information-Determined Scoring (IDS) Framework
- 作者：
- Joe Watson, Ivan O'Connor, Chia-Wen Chen, Luning Sun, Fang Luo, David Stillwell
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。