看見推理過程：LLM 推理解釋如何影響使用者信任與事實驗證
arXiv - Human-Computer InteractionXin Sun, Shu Wei, Jos A Bosch, Isao Echizen, Saku Sugawara, Abdallah El Ali
本研究探討了大型語言模型（LLM）提供的推理過程如何影響使用者在事實驗證任務中的信任和決策，發現推理的正確性和確定性提示會影響使用者對AI建議的採納。
AI 幫你先抓重點
AI 重點 1
LLM 推理的正確性與確定性提示顯著影響使用者信任度與對 AI 建議的採納。
滑鼠懸停看 AI 判斷理由
此發現直接關乎教育科技設計，若要提升學習者對 LLM 輔助學習系統的信任，並鼓勵他們積極運用 AI 提供的協助，就必須確保模型提供的推理過程準確可靠，並適當傳達其確定性，這點對於系統的有效性至關重要。
AI 重點 2
使用者更關注推理過程的可靠性，而非呈現方式（即時、延遲或按需）。
滑鼠懸停看 AI 判斷理由
這點為教育科技設計者提供了實務上的指引，意味著在資源有限的情況下，可以優先投入精力提升推理的準確性，而非過度關注呈現方式的精美程度，能更有效地提升使用者體驗與信任度，避免資源分配失衡。
核心研究發現
- 1
正確的推理過程和確定性提示能提升使用者對LLM的信任、決策信心以及對AI建議的接受度。
- 2
不確定性提示則會降低使用者對LLM的信任、決策信心以及對AI建議的接受度。
- 3
推理過程呈現方式（即時、延遲或按需）對使用者影響不大，使用者更關注推理的可靠性而非呈現時機。
- 4
參與者表示他們主要利用推理過程來審核輸出結果並校準對LLM的信任，期望推理過程能以逐步、適應性強的方式呈現，並包含確定性指標。
- 5
若設計不當，使用者介面的推理過程既能支持決策，也可能導致使用者對信任度的誤判。
對教育工作者的啟發
在教育情境中，若使用LLM輔助學習，應確保模型提供的推理過程準確可靠，並適當提示其確定性，以提升學習者對系統的信任和學習效果。設計者應考慮提供逐步、適應性強的推理過程，並加入確定性指標，幫助學習者校準信任度。避免提供不確定或錯誤的推理，以免誤導學習者。此外，呈現方式的影響較小，可根據實際需求選擇。
原始文獻資訊
- 英文標題：
- Seeing the Reasoning: How LLM Rationales Influence User Trust and Decision-Making in Factual Verification Tasks
- 作者：
- Xin Sun, Shu Wei, Jos A Bosch, Isao Echizen, Saku Sugawara, Abdallah El Ali
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。