超越回溯:利用大型語言模型提供適應性程式錯誤解釋

arXiv - Human-Computer InteractionAlexandru-Radu Moraru, Shreyan Biswas, Ujwal Gadiraju

研究發現 LLM 生成的程式錯誤解釋雖能提升使用者主觀滿意度,卻未能顯著改善實際的除錯效能。

AI 幫你先抓重點

AI 重點 1

警惕「主觀感受」與「學習成效」之間的落差

滑鼠懸停看 AI 判斷理由
在設計 EdTech 工具時,使用者感到「容易理解」或「舒適」並不代表他們真正掌握了知識或解決問題的能力。若過度依賴讓學習過程變得輕鬆的 AI 輔助,可能會掩蓋學習者真正的認知困難,導致學習成效停滯不前。
AI 重點 2

從「靜態技能匹配」轉向「動態修復軌跡」的設計思維

滑鼠懸停看 AI 判斷理由
目前的 AI 反饋多是根據使用者當前等級給予固定風格的解釋,但真正的學習發生在解決問題的過程中。未來的 AI 系統應能根據使用者即時的除錯行為與錯誤模式,動態調整引導策略,而非僅僅是重寫文字。

核心研究發現

  1. 1

    LLM 重寫的錯誤訊息顯著提升了使用者的主觀評價,其中「務實型(行動導向)」風格被認為更清晰且認知負荷較低。

  2. 2

    儘管主觀感受變好,但 LLM 生成的解釋在除錯成功率、嘗試次數及修復時間等客觀指標上,並未帶來統計學上的顯著提升。

  3. 3

    研究揭示了「人機互補性差距」,即使用者覺得「好用」的解釋並不等同於能讓他們成為更有效的除錯者。

對教育工作者的啟發

教育科技設計者應避免僅追求「讓使用者覺得好用」的介面優化。在開發 AI 輔助程式學習工具時,應將重點從「提供清晰的答案或解釋」轉向「提供具備鷹架功能的引導」。建議設計者建立動態反饋機制,觀察學習者的除錯路徑,當發現學習者陷入認知僵局時,再提供適度的挑戰性引導,而非直接給予降低認知負荷的簡化解釋,以確保工具能真正促進學習者的問題解決能力,而非僅僅是降低學習的挫折感。

原始文獻資訊

英文標題:
Beyond the Traceback: Using LLMs for Adaptive Explanations of Programming Errors
作者:
Alexandru-Radu Moraru, Shreyan Biswas, Ujwal Gadiraju
來源:
arXiv - Human-Computer Interaction
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。