基於聊天功能的學習支持：比較對話式與嵌入式 LLM 反饋對數學證明學習的影響
arXiv - Computers and SocietyEason Chen, Sophia Judicke, Kayla Beigh, Xinyi Tang, Isabel Wang, Nina Yuan, Zimo Xiao, Chuangji Li, Shizhuo Li, Reed Luttmer, Shreya Singh, Maria Yampolsky, Naman Parikh, Yvonne Zhao, Meiyi Chen, Scarlett Huang, Anishka Mohanty, Gregory Johnson, John Mackey, Jionghao Lin, Ken Koedinger
本研究比較了在大學離散數學課程中，基於 LLM 的聊天機器人與嵌入式反饋工具對學生數學證明學習成果的影響，發現單純的聊天支持可能不足以提升學習轉移。
AI 幫你先抓重點
AI 重點 1
聊天機器人使用與學習表現負相關
滑鼠懸停看 AI 判斷理由
此發現挑戰了普遍認為聊天機器人能有效輔助學習的假設，提醒教育者在使用 LLM 工具時應注意潛在的負面影響，並鼓勵學生適度使用，避免過度依賴。
AI 重點 2
嵌入式反饋更安全地支持學習
滑鼠懸停看 AI 判斷理由
相較於開放式的聊天機器人，結構化的、與作業緊密結合的嵌入式反饋似乎能更有效地支持學習，且降低了學生產生錯誤理解或依賴外部答案的風險，這對於設計有效的 LLM 輔助學習系統至關重要。
核心研究發現
- 1
早期接觸 GPTutor 系統與學生在系統可用期間的作業表現提升有關，但此提升並未轉移到考試成績。
- 2
自我效能感較低和先前考試表現較差的學生更頻繁地使用聊天機器人和證明審查工具。
- 3
更高的聊天機器人使用頻率和尋求答案的行為與期中考試表現呈負相關，暗示過度依賴聊天機器人可能不利於學習。
- 4
證明審查工具的使用與學習成果之間未發現明顯的獨立關聯，表明結構化的、以作業為基礎的反饋可能更安全地支持學習。
- 5
研究結果表明，單純的聊天機器人支持可能無法可靠地提升數學證明學習成果，而嵌入式反饋則可能更有效地促進學習。
對教育工作者的啟發
教育者應謹慎評估 LLM 工具在學習過程中的角色，避免過度依賴聊天機器人，並優先考慮提供結構化、嵌入式反饋，以支持學生獨立思考和解決問題的能力。此外，應關注學生自我效能感較低或先前表現較差的群體，提供更具針對性的支持，並引導他們有效利用學習資源。在設計課程時，應將 LLM 工具融入到以作業為基礎的學習活動中，而非僅僅作為問題解答的工具。
原始文獻資訊
- 英文標題：
- Chat-Based Support Alone May Not Be Enough: Comparing Conversational and Embedded LLM Feedback for Mathematical Proof Learning
- 作者：
- Eason Chen, Sophia Judicke, Kayla Beigh, Xinyi Tang, Isabel Wang, Nina Yuan, Zimo Xiao, Chuangji Li, Shizhuo Li, Reed Luttmer, Shreya Singh, Maria Yampolsky, Naman Parikh, Yvonne Zhao, Meiyi Chen, Scarlett Huang, Anishka Mohanty, Gregory Johnson, John Mackey, Jionghao Lin, Ken Koedinger
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。