GazeMind：基於眼動追蹤與大語言模型代理的個人化認知負荷評估框架
arXiv - Human-Computer InteractionBin Wang, Yue Liu, Benjamin Newman, Ajoy S. Fernandes, Zhiyuan Wang, Robert Cavin, Michele A. Cox, Vijay Rajanna, Takumi Bolte, Melissa Hunfalvay, Ulas Bagci, Michael J. Proulx
提出 GazeMind 框架，利用 LLM 處理眼動數據以實現具解釋性且可跨場景泛化的個人化認知負荷評估。
AI 幫你先抓重點
AI 重點 1
將眼動數據轉化為 LLM 可理解的結構化語言，解決了傳統模型缺乏解釋性的問題。
滑鼠懸停看 AI 判斷理由
傳統眼動分析多為黑箱模型，難以理解「為何」用戶感到疲勞；結合 LLM 後，系統能提供邏輯推理，這對於需要精準介入的教育或輔助技術至關重要。
AI 重點 2
實現了無需微調即可跨場景運作的通用型認知負荷評估。
滑鼠懸停看 AI 判斷理由
這打破了以往模型必須針對特定任務（如閱讀或解題）重新訓練的限制，意味著智慧穿戴設備未來能更靈活地應用於多樣化的學習情境中。
核心研究發現
- 1
GazeMind 透過將眼動追蹤數據編碼為結構化表示，讓 LLM 能進行推理並提供具備解釋性的認知負荷預測。
- 2
該框架無需針對特定任務進行 LLM 微調，即可透過任務引導推理實現跨場景泛化，並結合用戶特徵達成個人化適應。
- 3
實驗結果顯示 GazeMind 表現優異，在所有評估指標上均超越基準模型超過 20%。
- 4
研究團隊同步推出了 CogLoad-Bench，這是目前規模最大的眼動認知負荷數據集，包含 152 名參與者與超過 40 小時的多模態數據。
對教育工作者的啟發
對於教育科技開發者而言，此研究展示了如何利用生成式 AI 處理生理訊號（如眼動），從而實現「情境感知」的學習環境。未來在設計數位學習平台或智慧眼鏡輔助教學時，可參考此方法將學生的認知負荷（Cognitive Load）轉化為可解釋的數據。這能讓系統在學生感到認知過載時，主動調整教學難度或提供適時的鷹架（Scaffolding）支持，實現真正的個人化學習路徑。
原始文獻資訊
- 英文標題：
- GazeMind: A Gaze-Guided LLM Agent for Personalized Cognitive Load Assessment
- 作者：
- Bin Wang, Yue Liu, Benjamin Newman, Ajoy S. Fernandes, Zhiyuan Wang, Robert Cavin, Michele A. Cox, Vijay Rajanna, Takumi Bolte, Melissa Hunfalvay, Ulas Bagci, Michael J. Proulx
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。