aiassessmentk-12edtechequity

當青少年加入對話：LLM 評估學生言談時的認識論轉向

arXiv - Human-Computer InteractionLiliana Santos-Deonizio, James Malamut, Ram\'on Mart\'inez, Dorottya Demszky

本文主張在利用 LLM 分析學生言談時，應賦予青少年認識論權威，以修正現有評估模式對邊緣化學生的偏見。

AI 幫你先抓重點

AI 重點 1

從「以成人為中心」轉向「以學生為中心」的認識論權威分配。

滑鼠懸停看 AI 判斷理由
傳統研究將學生視為被觀察的對象，而本文強調學生應成為知識生產的參與者。這挑戰了教育科技開發者的慣性，提醒我們 AI 評估工具若缺乏學生的主觀視角，可能會造成對特定群體的誤判與排斥。
AI 重點 2

去脈絡化的文本分析會導致評估失真。

滑鼠懸停看 AI 判斷理由
目前的 LLM 評估多僅依賴純文字轉錄，忽略了教室中的非語言與情境因素。理解這一點對於設計更精準、更具包容性的教育 AI 工具至關重要，開發者必須思考如何將情境資訊納入模型中。

核心研究發現

  1. 1

    研究發現學生對自身數學對話經驗的解讀，與 LLM 基於轉錄文本的自動化評估結果之間存在顯著的不一致。

  2. 2

    學生不僅質疑 LLM 的分類結果，甚至對用於衡量其言談行為的編碼架構（coding scheme）本身提出挑戰。

  3. 3

    僅依賴成人專家標註或 F1 分數來驗證 LLM 評估工具，不足以確保對種族與語言邊緣化青少年的評估具備公平性與意義。

對教育工作者的啟發

教育科技開發者在設計自動化評估工具（如分析學生討論品質）時，不應僅追求與專家標註的一致性，而應建立「參與式設計」機制，邀請學生參與編碼架構的制定與驗證。對於教師而言，在使用 AI 輔助評估時，應保持批判性思維，將 AI 結果視為參考而非絕對真理，並應提供機會讓學生針對 AI 的評估結果進行反思與辯論，從而將評估過程轉化為促進學生元認知與自我覺察的學習機會。

原始文獻資訊

英文標題：
When Youth Enter The Chat: An Epistemic Shift in the Validation of LLM-Based Measures of Student Talk
作者：
Liliana Santos-Deonizio, James Malamut, Ram\'on Mart\'inez, Dorottya Demszky
來源：
arXiv - Human-Computer Interaction
AI 摘要模型：
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。