GBAT：AI 驅動的兒童-照顧者互動眼動與視訊自動標註工具
arXiv - Human-Computer InteractionIba Baig, Kevin Li, Yanbin Xu, Seiji Cattelain, Marie Hallo, Hayato Ono, Sho Tsuji, Ming Bo Cai
GBAT 透過深度學習自動同步、標註與姿勢分類，顯著提升兒童-照顧者互動資料的分析效率與規模。
AI 幫你先抓重點
AI 重點 1
GBAT 的自動同步與半自動標註功能大幅降低研究者的工作負擔，讓大規模、長期的兒童發展研究變得可行。
滑鼠懸停看 AI 判斷理由
此功能使研究者能在更短時間內處理大量資料，提升研究效率與樣本量，進而獲得更具代表性的行為洞察，對教育科技與學習科學的實證研究具有重要意義。
AI 重點 2
GBAT 將眼動與視訊資料整合，提供多模態特徵，能更精準捕捉注意力與行動之間的互動，為設計更具互動性與個別化的學習環境提供數據基礎。
滑鼠懸停看 AI 判斷理由
多模態資料的整合讓研究者能同時觀察注意力、語言與動作，揭示更複雜的學習行為模式，對課程設計者與教育科技開發者能直接應用於實際場景。
核心研究發現
- 1
GBAT 能夠在多視訊資料中自動完成時間同步，減少手動對齊所需的時間與人力。
- 2
工具提供半自動化的注視目標分類，利用深度學習模型將眼動資料與視訊畫面中的目標物件對應，提升標註準確度。
- 3
GBAT 同時對參與者的姿勢與手部動作進行分類，整合多模態特徵，為長期追蹤研究提供可擴展的特徵提取流程。
對教育工作者的啟發
GBAT 讓研究者能快速同步多視訊並自動標註注視目標與姿勢，節省大量人工時間。對於教育工作者而言，透過此工具可在自然環境下捕捉兒童注意力與互動模式，進而設計符合兒童學習節奏的互動教材或遊戲。實務上，教師可利用工具產生的行為資料，評估課堂互動效果，調整教學策略；課程設計者則可根據眼動與手部動作的關聯，優化教材呈現方式，提升學習成效。
原始文獻資訊
- 英文標題：
- GazeBehavior Annotation Toolkit (GBAT): AI-powered toolkit for automatic annotation of egocentric eye-tracking and video data of child-caregiver interaction
- 作者：
- Iba Baig, Kevin Li, Yanbin Xu, Seiji Cattelain, Marie Hallo, Hayato Ono, Sho Tsuji, Ming Bo Cai
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。