為何有人問「為什麼」：人類與LLM的對照推理
arXiv - Human-Computer InteractionBritt Besch, Tobias Gerstenberg
研究發現人們在回答為什麼問題時，會根據事後驚訝度推斷對照情境，並比較人類與LLM在此推理上的差異。
AI 幫你先抓重點
AI 重點 1
AI應重視事後驚訝度在對照推理中的核心作用，因其能揭示人類提問者的意圖。
滑鼠懸停看 AI 判斷理由
此洞察指出，對照推理不僅是語言理解，更是情境驚訝的反映，對設計問答系統或對話代理人能更精準捕捉用戶意圖。
AI 重點 2
AI需評估LLM對照選擇與期望判斷的一致性，以避免在教育對話中產生誤導性答案。
滑鼠懸停看 AI 判斷理由
若LLM對照選擇不符合其期望判斷，可能導致回答偏離用戶期望，影響學習者的信任與學習效果。
核心研究發現
- 1
研究顯示，對照選擇最佳由「事後期望」判斷預測，表明人們根據結果後的驚訝度推斷對照情境。
- 2
參與者在判斷先前期望、相似度與事後期望時，事後期望對對照選擇的解釋力最高。
- 3
大型語言模型在此任務中，雖能做出明確期望判斷，但其對照選擇與期望判斷之間的關聯不一致，顯示LLM對對照推理的局限。
對教育工作者的啟發
此研究指出，當學生在學習情境中被問及「為什麼」時，他們往往會根據結果後的驚訝感來推斷對照情境。教育工作者可利用此機制，設計先讓學生表達對事件的預期，再讓他們在事件發生後評估驚訝度，進而引導他們比較預期與實際，培養對照推理與元認知。對話式學習平台亦可加入事後驚訝度評估功能，協助LLM辨識學生的提問意圖，避免因對照選擇不一致而產生誤導性回答，提升學習者的信任與學習成效。
原始文獻資訊
- 英文標題：
- Why Someone Asked "Why": Foil Inference in Human and LLM Question Interpretation
- 作者：
- Britt Besch, Tobias Gerstenberg
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。