當 LLM 推理過程面向用戶：對信任感知、決策與注視行為的影響
arXiv - Human-Computer InteractionXin Sun, Ting Pan, Yajing Wang, Shu Wei, Jos A. Bosch, Isao Echizen, Abdallah El Ali, Saku Sugawara
研究發現 LLM 的推理過程（Rationales）若錯誤會顯著降低信任，且用戶在面對錯誤推理時會投入更多認知努力。
AI 幫你先抓重點
AI 重點 1
挑戰「推理越多越好」的直覺假設
滑鼠懸停看 AI 判斷理由
傳統認為提供更多解釋能增加透明度，但本研究指出錯誤的推理會造成認知負擔並損害信任。這提醒開發者，推理的「品質」與「可驗證性」遠比「數量」更重要。
AI 重點 2
利用生理指標（如眼動）監測學習者的認知狀態
滑鼠懸停看 AI 判斷理由
研究證明注視行為能預測信任與決策，這為未來開發能即時偵測學生「認知衝突」或「過度依賴 AI」的智慧學習系統提供了科學依據。
核心研究發現
- 1
研究發現推理呈現格式（即時、延遲或按需）對結果無顯著影響，但推理的正確性與確定性框架會顯著影響用戶對資訊與系統的信任度。
- 2
在眼動實驗中，錯誤的推理會吸引用戶更多對證據的注視，並導致瞳孔直徑擴大，顯示用戶在處理錯誤推理時需投入更高的認知負荷。
- 3
錯誤的推理會比不提供推理的情況更大幅度地降低用戶對 LLM 系統的信任，但對單純資訊信任度的影響則較小。
- 4
透過對眼動數據進行預測建模分析，研究證實注視特徵（Gaze features）能有效預測用戶的信任狀態與決策行為。
對教育工作者的啟發
對於設計 AI 輔助學習工具的設計者，建議不要盲目追求生成長篇大論的推理過程。首先，應優先確保推理內容的正確性與證據的連結性，以避免引發學生的認知衝突；其次，應設計「可驗證」的介面，讓學生能輕易核對 AI 推理與原始證據；最後，在呈現 AI 的信心程度時應保持透明，避免過度自信的語氣誤導學生產生錯誤的信任（Overtrust），進而影響其自主學習中的批判性思考能力。
原始文獻資訊
- 英文標題：
- When LLM Rationales Become User-Facing: Effects on Trust Perception, Decision-Making, and Gaze Behaviors
- 作者：
- Xin Sun, Ting Pan, Yajing Wang, Shu Wei, Jos A. Bosch, Isao Echizen, Abdallah El Ali, Saku Sugawara
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。