AI 驅動的人類導師評估：連結培訓表現與真實教學實踐
arXiv - Computers and SocietyDanielle R. Thomas, Marie Cynthia Abijuru Kamikazi, Clara Brandt, Conrad Borchers, Kenneth R. Koedinger
本研究開發了一套利用生成式 AI 分析真實教學逐字稿的系統，證明培訓表現能有效預測導師在現實教學中的技能轉移。
AI 幫你先抓重點
AI 重點 1
從模擬培訓到真實場景的「技能轉移」評估閉環
滑鼠懸停看 AI 判斷理由
過去的培訓平台多侷限於模擬環境，本研究利用生成式 AI 橋接了「培訓表現」與「真實教學表現」之間的鴻溝，為評估教學技能的實際應用提供了科學的量化路徑。
AI 重點 2
開放式回答在評估教學素養中的關鍵地位
滑鼠懸停看 AI 判斷理由
研究指出開放式回答比選擇題更能預測真實表現，這提醒教育設計者，在設計 AI 評估系統時，應著重於考察學習者如何建構邏輯與解釋概念，而非僅僅是辨識正確答案。
核心研究發現
- 1
研究發現導師在培訓中的表現能顯著預測其真實教學逐字稿的分數，效應量達 0.25 標準差。
- 2
結合開放式回答與選擇題的培訓表現，對於預測真實教學表現的效果最佳，其中開放式回答的預測力較強。
- 3
培訓後，導師遇到教學契機的機率從 61.1% 提升至 68.9%，且在契機中的執行品質也從 65.5% 提升至 68.1%。
- 4
中斷時間序列分析顯示，導師能力的提升呈現逐漸趨勢，而非培訓介入後的立即性效果。
對教育工作者的啟發
首先，在設計導師培訓系統時，應納入更多需要「生成式表達」的開放式評估任務，因為這與真實教學能力的關聯性更高。其次，開發者應利用生成式 AI 技術，將評估範圍從受控的模擬環境擴展到真實的教學逐字稿分析，以實現更精準的技能轉移檢測。最後，培訓設計者需意識到技能習得是一個漸進過程，不應僅期待即時的爆發式成長，而應建立長期的追蹤與反饋機制，以支持導師在真實教學情境中持續優化教學契機的捕捉與執行品質。
原始文獻資訊
- 英文標題：
- AI-Driven Assessment of Human Tutors: Linking Training Performance to Real-Life Practice
- 作者：
- Danielle R. Thomas, Marie Cynthia Abijuru Kamikazi, Clara Brandt, Conrad Borchers, Kenneth R. Koedinger
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。