edtechaiassessmentk-12learning design

個別化自動寫作回饋中的語言偏見探討

arXiv - Human-Computer InteractionMei Tan, Lena Phalen, Dorottya Demszky

研究顯示大型語言模型在提供寫作回饋時，會根據學生性別、種族、學習需求等屬性產生刻板印象偏差，揭示自動化回饋的隱形偏見。

AI 幫你先抓重點

AI 重點 1

Marked Pedagogies概念及其對回饋偏差的定義

滑鼠懸停看 AI 判斷理由
此概念將偏差具體化為教學取向，幫助研究者與實務者辨識並量化自動回饋中的不公平性，對後續改進工具至關重要。
AI 重點 2

四大LLM在不同學生屬性下的回饋差異實證

滑鼠懸停看 AI 判斷理由
透過實驗設計，證明即使作文相同，模型仍會根據性別、種族等屬性產生差異，凸顯自動化回饋系統的隱形偏見，提醒設計者需審慎調整。
AI 重點 3

使用Marked Words框架分析詞彙變化

滑鼠懸停看 AI 判斷理由
此方法提供可操作的量化工具，可在未來評估其他自動回饋系統的語言偏差，對研究與實務皆具參考價值。

核心研究發現

  1. 1

    模型在回饋中對種族、語言或殘障學生表現出正面回饋偏差，過度讚美且缺乏具體批評。

  2. 2

    即使原始作文內容相同，模型根據嵌入的學生屬性調整回饋語氣與重點，顯示個別化回饋的語言偏差。

  3. 3

    對於學習需求或成就較低的學生，模型往往假設能力有限，回饋中減少挑戰性建議。

  4. 4

    不同模型（GPT-4o、GPT-3.5-turbo、Llama-3.3 70B、Llama-3.1 8B）均呈現類似的刻板印象傾向，顯示偏差並非單一模型特有。

  5. 5

    作者提出「Marked Pedagogies」概念，強調自動回饋工具需具備透明度與問責制，以避免加劇教育不平等。

對教育工作者的啟發

為避免自動回饋系統加劇教育不平等，實務者應先建立多元化語料庫並進行偏差審查；其次，將回饋生成流程透明化，讓教師能檢視並調整AI建議；再者，設計可調節的個別化參數，避免過度依賴模型預設；最後，提供教師AI回饋偏差的培訓，提升其對學生差異化需求的敏感度，進而在課堂上更有效地運用AI輔助寫作。

原始文獻資訊

英文標題：
Marked Pedagogies: Examining Linguistic Biases in Personalized Automated Writing Feedback
作者：
Mei Tan, Lena Phalen, Dorottya Demszky
來源：
arXiv - Human-Computer Interaction
AI 摘要模型：
openai/gpt-oss-20b
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。