LLM在擲骰子概率推理的可靠性
arXiv - Human-Computer InteractionLuca Avena, Gianmarco Bet, Bernardo Busoni
LLM在標準概率題表現優異，但在反直覺題與語句變形下準確率大幅下降，顯示其仍非真正的概率推理者。
AI 幫你先抓重點
AI 重點 1
LLM的準確率在標準與反直覺題目間差距巨大，說明其主要依賴啟發式模式匹配而非真正的概率推理。
滑鼠懸停看 AI 判斷理由
此洞察提醒教育工作者與研究者，不能將LLM視為能處理複雜概率推理的工具，否則可能導致學習者誤解或依賴錯誤推論。
AI 重點 2
語句變形與誤導提示對LLM輸出造成顯著影響，凸顯提示設計在教育應用中的關鍵性。
滑鼠懸停看 AI 判斷理由
了解LLM對提示敏感度可協助教師避免使用易誤導的語句，確保學習評量的可靠性與公平性。
核心研究發現
- 1
在標準概率題上，八款先進LLM平均準確率達0.96；但在設計為挑戰直覺的題目中，準確率降至0.59。
- 2
將標準題目以隱蔽變體重新表述，模型表現下降超過20%，顯示對語句形式高度敏感。
- 3
在提示中嵌入誤導性建議可使模型準確率下降多達34%，且無一模型能完全抵抗此影響。
對教育工作者的啟發
研究顯示，LLM在處理標準概率題時表現優異，但在反直覺題目及語句變形下準確率大幅下降。對於教育實務者而言，建議：1）僅將LLM作為輔助工具，用於簡單、明確的概率練習；2）在設計教學提示時，避免使用含糊或易誤導的語句，並對提示進行多版本測試以確認穩定性；3）對於需要深度推理的課題，仍應保留人工評估或結合人機協作模式；4）在評量設計中加入對LLM輸出的驗證步驟，確保學生不被錯誤答案所誤導；5）鼓勵學生自行檢查LLM答案，培養元認知與批判性思維。
原始文獻資訊
- 英文標題：
- How reliable are LLMs when it comes to playing dice?
- 作者：
- Luca Avena, Gianmarco Bet, Bernardo Busoni
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。