真實場景下人機互動的多元模態關係感評估研究
arXiv - Human-Computer InteractionAkihiro Sakuramoto, Takato Hayashi, Ryo Miyoshi, Yuki Okafuji, Shogo Okada
本研究探討在非受控的真實環境中，利用多模態 AI 模型自動評估人機互動關係感（Rapport）的有效性。
AI 幫你先抓重點
AI 重點 1
從實驗室受控環境轉向真實世界場景的評估必要性
滑鼠懸停看 AI 判斷理由
傳統研究多在實驗室進行，忽略了使用者隨時可能脫離互動或多人參與的變數。理解真實環境下的數據波動，對於開發具備自主適應能力的機器人至關重要。
AI 重點 2
多模態融合模型優於單一模態或純文本模型
滑鼠懸停看 AI 判斷理由
這顯示了在複雜互動中，僅靠語言資訊不足以捕捉完整的社交情緒。結合視覺與聽覺特徵能提供更全面的語境，這對於設計高情商的 AI 互動系統具有指導意義。
核心研究發現
- 1
在真實場景的 HRI 測試中，零樣本（Zero-shot）大型語言模型展現出強大的表現，能有效預測關係感分數。
- 2
結合 Gemini（文本）、HuBERT（音訊）與 V-JEPA（視覺）的多模態融合模型，在整體預測準確度上表現最優。
- 3
音訊與視覺模型提供的資訊具有互補性，單一模態模型在處理複雜環境時存在侷限。
- 4
關係感的評估表現會隨著互動持續時間的長短以及參與群體人數的大小而產生顯著變化。
對教育工作者的啟發
對於開發教育科技工具（如 AI 助教或學習機器人）的設計者而言，本研究強調了「情境變異性」的重要性。在設計互動系統時，不應僅依賴文字對話，應整合視覺（如表情、肢體語言）與音訊（如語調、節奏）的多模態感測，以精準判斷學習者與 AI 之間的關係感與參與度。此外，系統需具備處理「非受控環境」的能力，例如能應對學習者突然分心或多人共同參與教學場景時的情緒與互動變化，從而實現更具適應性的教學策略調整。
原始文獻資訊
- 英文標題：
- Multimodal Rapport Estimation in Real-World HRI
- 作者：
- Akihiro Sakuramoto, Takato Hayashi, Ryo Miyoshi, Yuki Okafuji, Shogo Okada
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。