ViSTAR：虛擬技能訓練與擴增實境3D化身LLM教練
arXiv - Human-Computer InteractionChunggi Lee, Hayato Saiki, Tica Lin, Eiji Ikeda, Kenji Suzuki, Chen Zhu-Tian, Hanspeter Pfister
ViSTAR利用AR與LLM生成即時語音回饋，提升籃球姿勢與節奏自我調整。
AI 幫你先抓重點
AI 重點 1
LLM將3D動作特徵轉化為自然語言回饋
滑鼠懸停看 AI 判斷理由
此創新突破傳統視覺回饋的語言化限制，使使用者能以易懂且可操作的語句快速調整姿勢與節奏，提升學習效率。
AI 重點 2
系統結合BST四步驟，確保回饋循序漸進且具可行性
滑鼠懸停看 AI 判斷理由
依循行為技能訓練理論，回饋不僅即時，還具備教學結構，能讓使用者在實踐中逐步掌握並內化技能，對實務應用更具說服力。
核心研究發現
- 1
ViSTAR依循BST框架，提供視覺覆蓋、節奏提示與LLM語音回饋。
- 2
兩項實驗顯示使用者偏好AI回饋，並認為能更精準指出姿勢與平衡問題。
- 3
LLM將三維動作特徵映射為簡潔教練語句，實現高效語言化回饋。
- 4
系統能即時重建運動關節，並以時空數據生成個別化建議。
- 5
ViSTAR促進使用者自我觀察之外，進一步調整動作細節，提升技能表現。
對教育工作者的啟發
對教育工作者與課程設計者而言，ViSTAR示範了將LLM語音回饋嵌入AR訓練的可行性。建議先確立BST框架，將教學目標拆解為指令、示範、練習與回饋；再利用3D動作重建即時捕捉關節數據，透過LLM將關鍵動作特徵轉為簡潔語句，提供個別化建議。實務上可先在小規模團隊中測試回饋偏好與學習成效，再擴展至大規模訓練。此模式亦可延伸至其他體育或技能領域，促進自主學習與即時自我調整。
原始文獻資訊
- 英文標題：
- ViSTAR: Virtual Skill Training with Augmented Reality with 3D Avatars and LLM coaching agent
- 作者：
- Chunggi Lee, Hayato Saiki, Tica Lin, Eiji Ikeda, Kenji Suzuki, Chen Zhu-Tian, Hanspeter Pfister
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。