SocialPulse：智慧手錶多模態感測於自然環境中即時偵測社交互動
arXiv - Human-Computer InteractionMd Sabbir Ahmed, Kaitlyn Dorothy Petz, Noah French, Tanvi Lakhtakia, Aayushi Sangani, Mark Rucker, Xinyu Chen, Bethany A. Teachman, Laura E. Barnes
開發並驗證智慧手錶即時偵測自然環境中多樣社交互動的系統，達到高準確率並證明實際可行性。
AI 幫你先抓重點
AI 重點 1
即時、在裝置上完成社交互動偵測，突破傳統需要外部伺服器或固定時間窗口的限制。
滑鼠懸停看 AI 判斷理由
此突破使得系統能在保護隱私、低延遲的前提下，為個人化學習介入提供即時情境感知，對於需要社交線索的自主學習與協作學習尤為重要。
AI 重點 2
15秒窗口模型的高準確率與靈敏度表明短時段音訊即可捕捉互動。
滑鼠懸停看 AI 判斷理由
短窗口允許近乎即時偵測，能在學習環境中快速調整任務難度、提示協作或提供即時回饋，提升學習體驗與成效。
核心研究發現
- 1
前景語音偵測器在超過10萬個標記樣本上達到85.51%平衡準確率，較先前研究高5.11%。
- 2
在38位參與者、900小時實際佩戴情境下，系統偵測到1,691次互動，77.28%經自報確認，互動時長從不到1分鐘到超過1小時。
- 3
81.45%的正確偵測為面對面互動，15.7%為虛擬，1.85%為混合，顯示系統能區分互動類型。
- 4
15秒窗口音訊模型在33,698標記窗口上達到90.39%平衡準確率、91.01%靈敏度，證明短時段音訊即可捕捉互動。
對教育工作者的啟發
此系統可在不依賴雲端的情況下即時偵測學生在課堂或遠距教學中的面對面、虛擬或混合互動，教育工作者可利用此資訊即時調整協作任務、提供個別化提示或評量。由於偵測器在15秒窗口即可完成，能在短時間內捕捉互動變化，適合用於即時反饋或情境感知。系統保留隱私，資料僅存於裝置，降低資料外洩風險，亦符合教育隱私法規。
原始文獻資訊
- 英文標題：
- SocialPulse: On-Device Detection of Social Interactions in Naturalistic Settings Using Smartwatch Multimodal Sensing
- 作者：
- Md Sabbir Ahmed, Kaitlyn Dorothy Petz, Noah French, Tanvi Lakhtakia, Aayushi Sangani, Mark Rucker, Xinyu Chen, Bethany A. Teachman, Laura E. Barnes
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。