AutoCue：利用多模態大語言模型將隱性輸入轉化為教學視覺提示的螢幕錄影增強系統
arXiv - Human-Computer InteractionShengyang Luo, Shengyao Luo, Xiaolei Guo, Fengze Zhang, James Liang, Yingjie Victor Chen
開發 AutoCue 系統，透過多模態 LLM 自動推論並視覺化教學影片中缺失的滑鼠與鍵盤操作，以降低學習者的認知負荷。
AI 幫你先抓重點
AI 重點 1
將「隱性操作」顯性化的重要性
滑鼠懸停看 AI 判斷理由
傳統教學影片往往只呈現結果，忽略了達成結果的「過程細節」（如組合鍵）。透過 AI 將這些隱性輸入轉化為視覺語法，能直接解決學習者在追蹤操作路徑時的認知斷層。
AI 重點 2
人機協作（Human-in-the-loop）的增強模式
滑鼠懸停看 AI 判斷理由
AI 並非完全取代教學設計，而是提供「自動推論 + 人工精修」的管線。這種模式平衡了自動化的效率與教學內容的精準度，是未來 AI 輔助教學工具落地的關鍵路徑。
核心研究發現
- 1
研究發現學習者在觀看軟體教學影片時，常因影片未明確顯示滑鼠動作或組合鍵操作而導致學習中斷或需頻繁倒退。
- 2
AutoCue 系統能整合畫面變化、旁白訊號與官方手冊，自動推論並生成對齊的視覺提示層，並提供可編輯的產出物供人工修正。
- 3
在針對 Autodesk Maya 的實驗中，使用 AutoCue 增強的教學影片能有效縮短學習者的任務完成時間並減少操作中斷。
- 4
實驗結果顯示，接受 AutoCue 輔助的學習者在主觀體驗報告上表現出更佳的學習感受。
對教育工作者的啟發
課程設計者在製作軟體操作教學時，應意識到「視覺上的動作缺失」會造成學習者的認知負荷。建議在設計教學影片時，除了口頭說明，應特別強化對滑鼠軌跡、組合鍵（如 Ctrl+C）等隱性動作的視覺標註。對於資源有限的設計者，可參考 AutoCue 的思路，利用 AI 工具輔助生成操作提示層，而非僅依賴旁白，這能顯著提升學習者在自主學習過程中的流暢度與成功率。
原始文獻資訊
- 英文標題：
- AutoCue: Multimodal LLM-Assisted Externalization of Implicit Inputs as Instructional Visual Cues in Screencast Tutorials
- 作者：
- Shengyang Luo, Shengyao Luo, Xiaolei Guo, Fengze Zhang, James Liang, Yingjie Victor Chen
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。