用於非同步演講訓練的可解釋閉環多模態情感回饋智慧教學系統

arXiv - Human-Computer InteractionHung-Yue Suen, Kuo-En Hung

開發了一套結合多模態數據與可解釋架構的智慧教學系統,能透過精準回饋顯著提升學習者的口頭演講技能。

AI 幫你先抓重點

AI 重點 1

從「黑箱評分」轉向「可解釋的行為診斷」

滑鼠懸停看 AI 判斷理由
傳統 AI 評分往往只給出分數,缺乏教學意義;本研究透過三層架構將多模態數據轉化為可觀察的行為線索,這對於建立學習者的自我監控與修正能力至關重要。
AI 重點 2

閉環式回饋架構實現了大規模的刻意練習

滑鼠懸停看 AI 判斷理由
透過結合評分、診斷與對話式教練,系統模擬了真人導師的互動,解決了非同步學習中缺乏即時、具體回饋的痛點,讓大規模教學具備高品質的個人化指導潛力。

核心研究發現

  1. 1

    系統利用 XGBoost 模型處理面部、聲音、文本與眼動特徵,其評分準確度與專家評分高度一致(Spearman's rho 為 0.69-0.78)。

  2. 2

    針對 204 名成年學習者的 30 天實驗顯示,參與者在七個行為錨定評量量表(BARS)維度上的表現均有顯著提升。

  3. 3

    研究發現練習頻率與後測表現之間存在強正相關,顯示系統支持的刻意練習對技能習得具有實質成效。

對教育工作者的啟發

課程設計者在設計非同步學習環境時,不應僅追求自動化評分,更應著重於「回饋的可解釋性」。建議整合多模態數據(如語調、眼神、肢體語言)來提供具體的行為建議,而非僅給予分數。此外,系統應設計成能引導學習者進行「刻意練習」的閉環結構,透過對話式教練引導學習者進行自我反思與修正,從而將數據分析轉化為實際的行為改變。

原始文獻資訊

英文標題:
An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training
作者:
Hung-Yue Suen, Kuo-En Hung
來源:
arXiv - Human-Computer Interaction
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。