JARVIS：即時 AR 視覺指導系統
arXiv - Human-Computer InteractionYusi Sun, Ying Jiang, Jiayin Lu, Yin yang, Yong-Hong Kuo, Chenfanfu Jiang
開發 JARVIS，利用 VLM 生成即時 AR 指導，提升跨實境任務的可用性與成功率
AI 幫你先抓重點
AI 重點 1
即時視覺化與狀態驗證能顯著降低使用者工作負荷
滑鼠懸停看 AI 判斷理由
透過即時的視覺回饋與自動狀態確認，使用者不必頻繁切換介面，從而減少認知負擔並提升任務完成效率，對 AR 教學設計提供實證依據。
AI 重點 2
跨實境任務分類為 R2R、R2V、V2R、V2V 為設計指導
滑鼠懸停看 AI 判斷理由
將任務拆分為四種跨實境關係，能幫助設計者針對不同場景提供更精準的視覺提示與互動模式，提升系統的適應性與可擴展性。
核心研究發現
- 1
JARVIS 在四種跨實境任務類型（R2R, R2V, V2R, V2V）中，使用者可在單一提示下獲得步驟式指導，並實時驗證狀態。
- 2
在 14 名參與者的實驗中，JARVIS 的可用性、工作負荷、成功率和視覺化效果均顯著優於基線。
- 3
研究指出跨實境任務需要「狀態覺察」與「跨實境協調」兩大需求，並將其納入系統設計。
對教育工作者的啟發
JARVIS 示範了利用 VLM 於單一提示即時生成步驟式 AR 指導的可行性，並透過實時狀態驗證與自適應視覺回饋降低使用者切換成本。對於設計跨實境學習任務的開發者，可先將任務拆分為 R2R、R2V、V2R、V2V 四類，針對每類設計專屬的視覺提示與互動流程；同時在系統中嵌入自動驗證模組，確保使用者在每一步都符合預期，進而提升成功率與學習成效。
原始文獻資訊
- 英文標題：
- JARVIS: A Just-in-Time AR Visual Instruction System for Cross-Reality Task Guidance
- 作者：
- Yusi Sun, Ying Jiang, Jiayin Lu, Yin yang, Yong-Hong Kuo, Chenfanfu Jiang
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。