aiedtechmetacognitionassessmentlearning design

大型語言模型作為思考大聲的學生：過度連貫、冗長且自信

arXiv - Computers and SocietyConrad Borchers, Jill-J\^enn Vie, Roger Azevedo

評估LLM作為新手思考者，發現其推理過度連貫、冗長且自信，且在預測學習成效時過度樂觀，揭示LLM模擬學習的認知局限。

AI 幫你先抓重點

AI 重點 1

LLM在模擬新手思考時會產生過度連貫且冗長的推理，導致對學習者表現的過度樂觀評估。

滑鼠懸停看 AI 判斷理由
這揭示了AI在教育應用中可能產生的偏差，提醒設計者需加入多樣化、可變的思考模式以提升真實性。
AI 重點 2

更豐富的上下文提示會加劇LLM的過度連貫與自信，顯示提示設計對模型行為的強烈影響。

滑鼠懸停看 AI 判斷理由
說明在設計AI輔導系統時，提示策略需謹慎調整，以避免模型過度自信而影響學習者的元認知發展。

核心研究發現

  1. 1

    GPT-4.1在最小與擴充上下文提示下生成流暢、符合語境的延續，但其推理過度連貫、冗長且變異性低於人類思考大聲。

  2. 2

    隨著提示中提供更豐富的問題解決背景，LLM的過度連貫與冗長效應加劇，且對學習者步驟成功的預測持續高估。

  3. 3

    研究框架顯示LLM的表現受訓練資料偏差影響，缺乏情感表達與工作記憶限制，提示其在模擬學習過程中的知識與認知限制。

對教育工作者的啟發

1) 設計時加入多樣化、可變的推理路徑，避免單一過度連貫輸出；2) 使用簡潔分段提示，降低模型過度自信；3) 模擬新手工作記憶限制與情感表達；4) 以本文框架定期檢測模型預測偏差，調整參數或提示；5) 研究者可擴展此方法評估不同領域LLM的模擬真實度。

原始文獻資訊

英文標題：
Large Language Models as Students Who Think Aloud: Overly Coherent, Verbose, and Confident
作者：
Conrad Borchers, Jill-J\^enn Vie, Roger Azevedo
來源：
arXiv - Computers and Society
AI 摘要模型：
openai/gpt-oss-20b
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。