切換式閱讀:實現 AR/MR 環境下視覺與聽覺模態的無縫切換

arXiv - Human-Computer InteractionKazuyuki Fujita, Yuto Matsui, Ikuru Sato, Guanghan Zhao, Yoshifumi Kitamura

提出一種新型互動框架,透過注視驅動語音播放與對應感知轉場,優化 AR/MR 環境下的閱讀體驗。

AI 幫你先抓重點

AI 重點 1

從單一感官閱讀轉向「多模態協同」的互動設計。

滑鼠懸停看 AI 判斷理由
傳統閱讀高度依賴視覺,但在 AR 環境中過度佔用視覺會降低現實感知。此研究展示了如何透過聽覺補償視覺負擔,這對於設計未來行動學習或沉浸式學習環境具有重要啟發。
AI 重點 2

注視行為(Gaze)可作為跨模態切換的自然觸發器。

滑鼠懸停看 AI 判斷理由
將使用者的生理行為(注視)與系統功能(語音播放)結合,降低了認知負荷與操作成本,這對於開發直覺式、低干擾的自主學習工具至關重要。

核心研究發現

  1. 1

    結合「注視驅動語音播放」與「對應感知轉場」的實驗條件,在使用者偏好度上表現最優。

  2. 2

    注視驅動語音播放技術能有效減少模態切換時的注視偏移(gaze offsets),並提升閱讀速度。

  3. 3

    透過在行走情境下的應用測試,驗證了該框架在需要維持現實環境感知時的實用性。

對教育工作者的啟發

對於設計行動學習(Mobile Learning)或擴增實境教材的開發者,本研究建議不應僅專注於視覺呈現。在需要使用者保持環境警覺的情境下(如戶外教學、移動式實驗),應設計「視覺-聽覺」的切換機制。具體做法上,可利用使用者的注視點作為指令,自動切換至語音朗讀模式,以減少視覺疲勞並提升資訊獲取的效率,實現更流暢的學習體驗。

原始文獻資訊

英文標題:
Switched Reading: Toward Seamless Visual-Auditory Switching When Reading Text in Augmented/Mixed Reality
作者:
Kazuyuki Fujita, Yuto Matsui, Ikuru Sato, Guanghan Zhao, Yoshifumi Kitamura
來源:
arXiv - Human-Computer Interaction
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。