aiedtechhcillmassessment

滑鼠與眼神洩露偏好：利用用戶隱性回饋進行大型語言模型對齊

arXiv - Human-Computer InteractionHaw-Shiuan Chang, Jeffrey Gomez, Mehul Patwari, Aryan Sajith, Hamed Zamani

研究證明利用用戶的滑鼠軌跡與視線追蹤等隱性回饋，能顯著提升大型語言模型對齊的準確度與品質。

AI 幫你先抓重點

AI 重點 1

從「顯性標註」轉向「隱性數據」的範式轉移

滑鼠懸停看 AI 判斷理由
傳統模型依賴昂貴且低頻率的人為評分，而本研究展示了用戶在互動過程中的生理與行為數據（如視線、滑鼠移動）蘊含極高的價值，這能大幅降低高品質數據收集的成本。
AI 重點 2

多模態行為數據對模型對齊的增強作用

滑鼠懸停看 AI 判斷理由
這項發現改變了我們對「偏好」的定義，證明了用戶的注意力分配與操作行為是比文字回饋更精準的偏好指標，對於開發更具人性化、能理解用戶真實意圖的 AI 至關重要。

核心研究發現

  1. 1

    研究團隊建立了 IFLLM 資料集，包含 59 名受試者在 1336 個多輪對話中的滑鼠軌跡與視線追蹤數據。

  2. 2

    基於隱性回饋的獎勵模型將文本獎勵模型的準確度從 55% 提升至 64%。

  3. 3

    在使用 DPO（直接偏好優化）技術時，結合隱性回饋使八種大型語言模型的相對回應品質提升了近三倍。

對教育工作者的啟發

對於開發教育 AI 工具的設計者而言，這提供了新的評估維度。在設計數位學習環境或 AI 導師時，不應僅依賴學生填寫的問卷或評分，而應整合學習者的行為數據（如在教材上的停留時間、滑鼠點擊路徑、視線焦點）。這些隱性數據能更即時、無感地反映學生的理解程度與偏好，進而實現更精準的個人化學習路徑調整與自動化教學回饋。

原始文獻資訊

英文標題：
Your Mouse and Eyes Secretly Leak Your Preference: LLM Alignment using Implicit Feedback from Users
作者：
Haw-Shiuan Chang, Jeffrey Gomez, Mehul Patwari, Aryan Sajith, Hamed Zamani
來源：
arXiv - Human-Computer Interaction
AI 摘要模型：
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。