解釋正確性是否重要？探討可解釋AI評估與人類理解的關聯
arXiv - Human-Computer InteractionGregor Baer, Chao Zhang, Isel Grau, Pieter Van Gorp
本研究透過使用者研究，探討可解釋AI（XAI）的解釋正確性與人類理解之間的關係，發現並非所有正確性差異都能轉化為理解差異。
AI 幫你先抓重點
AI 重點 1
解釋正確性並非唯一決定因素
滑鼠懸停看 AI 判斷理由
研究表明，即使AI提供的解釋在技術上是正確的，使用者仍然可能無法理解其背後的邏輯。這對於教育科技的設計者來說至關重要，他們需要考慮如何提供更易於理解的解釋，而不僅僅是正確的解釋。
AI 重點 2
學習模式的掌握程度影響理解
滑鼠懸停看 AI 判斷理由
研究發現，參與者是否學會了AI的決策模式，會影響他們對解釋的理解。這意味著在教育情境中，引導學生理解AI的決策過程，比單純提供解釋更為重要，有助於提升學習效果。
核心研究發現
- 1
解釋的正確性會影響人類的理解，但並非在所有層次上都顯現影響：70%和55%的正確性會導致效能下降，而低於70%則無額外損失。
- 2
降低解釋的正確性會減少學習決策模式的參與者比例，而非均勻地降低整體效能。
- 3
即使是完全正確的解釋也無法保證理解，只有一部分參與者能達到高準確度。
- 4
自我報告的評估與實際效能的關聯性，僅在解釋完全正確且參與者已學習模式時才顯現。
- 5
功能性正確性的差異，並非完全等同於人類理解的差異，強調了評估XAI時需要更深入的考量。
對教育工作者的啟發
在教育科技應用中，不應僅僅追求AI解釋的技術正確性，更應注重其可理解性。設計者應考慮如何引導學習者理解AI的決策模式，並提供不同程度的解釋，以滿足不同學習者的需求。此外，應注意即使提供完全正確的解釋，也無法保證所有學習者都能理解，因此需要輔以其他教學策略，例如互動式學習、案例分析等，以提升學習效果。
原始文獻資訊
- 英文標題：
- Does Explanation Correctness Matter? Linking Computational XAI Evaluation to Human Understanding
- 作者：
- Gregor Baer, Chao Zhang, Isel Grau, Pieter Van Gorp
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。