Pro$^2$Assist：長程程序任務的連續步驟感知式主動協助
arXiv - Human-Computer InteractionLilin Xu, Bufang Yang, Siyang Jiang, Kaiwei Liu, Kaiyuan Hou, Yuang Fan, Hongkai Chen, Zhenyu Yan, Xiaofan Jiang
利用AR眼鏡的多模態感知，Pro$^2$Assist持續追蹤步驟並主動提供協助，提升長程程序任務的準確性與時效性。
AI 幫你先抓重點
AI 重點 1
Pro$^2$Assist 以步驟感知式主動協助取代傳統被動回應，能在長程任務中持續提供即時提示。
滑鼠懸停看 AI 判斷理由
此設計突破了以往只在短期事件提供協助的限制，讓學習者在整個程序流程中保持高效與自我調節，對教育科技的實時互動設計具有重要啟示。
AI 重點 2
結合 AR 眼鏡的多模態感知，可精準捕捉使用者動作與環境變化，提升協助的時效與相關性。
滑鼠懸停看 AI 判斷理由
多模態感知提供更細緻的上下文資訊，使系統能在不同步驟間做出更準確的推理，對於需要高精度步驟追蹤的實作式學習尤為關鍵。
核心研究發現
- 1
Pro$^2$Assist 在程序行動理解準確度上比最佳基線提升 21% 以上；
- 2
在主動協助時機準確度上達到基線的 2.29 倍；
- 3
20 位參與者的使用者研究顯示 90% 受試者認為系統有用。
對教育工作者的啟發
對於教育科技開發者而言，Pro$^2$Assist 示範了結合 AR 眼鏡與多模態感知的步驟感知式主動協助能顯著提升長程程序任務的完成率與學習者的自我調節能力。開發者可先在實驗室收集多模態資料，建立步驟語義模型，再將模型部署於 AR 平台，透過持續推理即時提示。課程設計者則可將此技術嵌入實作式學習單元，設計需要多步驟完成的實驗或料理任務，並利用即時反饋促進學習者的元認知與自我監控。最後，建議在正式推廣前進行小規模使用者測試，收集使用者需求與介面優化建議，以確保協助訊息的時效性與相關性。
原始文獻資訊
- 英文標題：
- Pro$^2$Assist: Continuous Step-Aware Proactive Assistance with Multimodal Egocentric Perception for Long-Horizon Procedural Tasks
- 作者：
- Lilin Xu, Bufang Yang, Siyang Jiang, Kaiwei Liu, Kaiyuan Hou, Yuang Fan, Hongkai Chen, Zhenyu Yan, Xiaofan Jiang
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。