語言模型算術教學法
arXiv - Computers and SocietyAndhika Bernard Lumbantobing, Hokky Situngkir
研究將人類算術教學方法應用於語言模型訓練，證明小型模型可達80%以上算術準確率。
AI 幫你先抓重點
AI 重點 1
將算術步驟轉化為自然語言CoT可直接用於下一token預測，省去複雜的RL訓練。
滑鼠懸停看 AI 判斷理由
此方法降低了訓練成本與複雜度，使資源有限的教育機構也能利用小型模型實現高效算術推理，顯示教學式訓練的實用價值。
AI 重點 2
模型在學習階段中先內化程序化路徑，再發展心理算術，顯示語言模型能在不同層次上獲得知識。
滑鼠懸停看 AI 判斷理由
揭示模型的學習機制可指導教育者設計分層教學策略，提升學習者的自我調節與知識內化能力，對教育設計具有重要啟示。
核心研究發現
- 1
使用GASING方法將算術步驟序列化為自然語言CoT，並以下一個token預測訓練小型GPT-2模型，無需RL或獎勵優化。
- 2
訓練過程顯示三個學習階段，模型最初學習程序化路徑，後期發展「心理算術」能力，可在不逐步計算的情況下檢索中間結果。
- 3
最終模型在留存測試集上達到超過80%準確率，並在算術任務上與更大模型競爭，證明針對性教學訓練可在小規模下取得強大算術能力。
對教育工作者的啟發
本研究示範了將傳統算術教學流程轉化為自然語言CoT，並以簡單的下一token預測方式訓練小型語言模型，可在不使用RL或複雜優化的情況下達到高準確率。實務工作者可依此設計階段式教學資料，先讓模型學習明確的程序化步驟，再透過注意力遮蔽或logit-lens監控，確保模型在後期能自行檢索中間結果，形成心理算術能力。此方法不僅降低硬體與計算成本，也提供可擴充的教學框架，適用於資源有限的教育環境。
原始文獻資訊
- 英文標題：
- Arithmetic Pedagogy for Language Models
- 作者：
- Andhika Bernard Lumbantobing, Hokky Situngkir
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。