DigitalCoach：人類與代理型電腦使用教練間的溝通與語境落差研究
arXiv - Human-Computer InteractionMeng Chen, Anya Ji, Tsung-Han Wu, Tobias Maringgele, David M. Chan, Alane Suhr, Amy Pavel
研究提出 DigitalCoach 資料集，揭示現有 AI 教練在教學深度與視覺語境理解上與人類專家存在顯著差異。
AI 幫你先抓重點
AI 重點 1
AI 教學模式可能導致學習者的「被動依賴」風險
滑鼠懸停看 AI 判斷理由
目前的 AI 模型傾向於給予指令而非引導思考，這會削弱學習者的自主學習能力，使學習者僅是機械式地模仿操作，而非理解背後的邏輯，這對培養自主學習（SRL）能力具有負面影響。
AI 重點 2
視覺語境對齊（Visual Grounding）是 AI 教學代理的核心挑戰
滑鼠懸停看 AI 判斷理由
僅有語言上的流暢並不代表教學有效；若 AI 無法精準連結對話內容與使用者當下的螢幕畫面，教學將失去精準度，這提醒開發者在設計 EdTech 代理時，多模態理解的重要性高於單純的語言生成。
核心研究發現
- 1
研究開發了 DigitalCoach 多模態資料集，包含 72 場專家與新手間的教學對話、2.2 萬次對話輪次及 28.1 小時的螢幕與輸入事件紀錄。
- 2
自動化評估顯示，AI 模型傾向提供直接指令，但在提供解釋、錯誤診斷及知識檢核問題方面的表現遠低於人類專家。
- 3
即使修正教學方法，AI 模型在生成與人類相似的語句時，仍難以將對話內容與視覺情境進行有效的語境對齊（Grounding）。
- 4
互動式評估證實，AI 教練會導致學習者陷入被動跟隨指令的狀態，缺乏深層參與，且在視覺語境理解上表現不足。
對教育工作者的啟發
對於教育科技設計者而言，開發 AI 教學代理時不應僅追求「指令的準確性」，而應強化「教學策略」的設計。具體建議包括：1. 引入更多「解釋性」與「診斷性」對話，而非僅給予步驟指令；2. 設計「知識檢核」機制，確保學習者理解操作邏輯而非盲目跟隨；3. 強化多模態整合技術，確保 AI 能根據使用者的即時螢幕狀態提供精準引導。目標應是從「指令提供者」轉型為「引導思考的教練」。
原始文獻資訊
- 英文標題：
- DigitalCoach: Communication and Grounding Gaps in Human and Agentic Computer Use Coaching
- 作者：
- Meng Chen, Anya Ji, Tsung-Han Wu, Tobias Maringgele, David M. Chan, Alane Suhr, Amy Pavel
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。