TalkMoves 編碼本能否泛用於一對一輔導與多模態互動?

arXiv - Human-Computer InteractionCorina Luca Focsan, Marie Cynthia Abijuru Kamikazi, Tamisha Thompson, Jennifer St. John, Kirk Vanacore, Danielle R. Thomas, Kenneth R. Koedinger, Ren\'e F. Kizilcec

研究發現傳統教室用的 TalkMoves 編碼本在轉向一對一輔導與多模態數據時,存在泛用性不足與解釋模糊的問題。

AI 幫你先抓重點

AI 重點 1

警惕「情境遷移」帶來的評量工具失效風險

滑鼠懸停看 AI 判斷理由
這提醒研究者,原本在教室環境設計的行為編碼工具,不一定能直接套用於 AI 輔導或線上教學,必須考慮情境與互動模式的根本差異。
AI 重點 2

多模態數據需要專屬的編碼邏輯

滑鼠懸停看 AI 判斷理由
傳統以口語為主的編碼本無法有效處理聊天文字、影片或非語言行為,這對於開發下一代多模態學習分析(Multimodal Learning Analytics)系統至關重要。

核心研究發現

  1. 1

    TalkMoves 在信度上表現較佳(k = 0.74),優於 AI 與人類混合開發的編碼本(k = 0.64)。

  2. 2

    混合開發的編碼本在不同模態下展現出更廣的實證覆蓋範圍,且被認為具有更高的可用性。

  3. 3

    兩套編碼本皆無法完全捕捉輔導情境中的關鍵行為,且在處理非語言或多模態特徵時存在歧義。

  4. 4

    研究證實 TalkMoves 從原本的教室協作對話轉移到一對一輔導情境時,其泛用性並不穩定。

對教育工作者的啟發

對於開發 AI 輔導系統或學習分析工具的設計者,建議不要直接套用傳統教室觀察的行為指標。在設計評估模型時,應針對「一對一互動」與「多模態輸入」(如聊天紀錄、肢體動作)開發專屬的編碼框架。開發過程中應結合 AI 與人類專家的知識,以確保編碼本既能覆蓋多元的教學行為,又能處理非語言訊息帶來的模糊性,從而提升教學品質分析的準確度。

原始文獻資訊

英文標題:
Does the TalkMoves Codebook Generalize to One-on-One Tutoring and Multimodal Interaction?
作者:
Corina Luca Focsan, Marie Cynthia Abijuru Kamikazi, Tamisha Thompson, Jennifer St. John, Kirk Vanacore, Danielle R. Thomas, Kenneth R. Koedinger, Ren\'e F. Kizilcec
來源:
arXiv - Human-Computer Interaction
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。