aimathematicsedtechllmformalization

評估大型語言模型在 Lean 數學形式化證明中的表現

arXiv - Artificial IntelligenceTyson Klingner, Drew Bladek, Escher Crawford, Bohao Chen, Ariel Fu, Kaira Nair, Jarod Alper, Giovanni Inchiostro, Vasily Ilin

本研究比較多種 LLM 在 Lean 4 數學形式化證明中的效能，並從準確度與成本效益兩方面進行評估。

AI 幫你先抓重點

AI 重點 1

模型性能與成本效益之間存在明顯的權衡關係

滑鼠懸停看 AI 判斷理由
這對於開發者或研究者至關重要，因為在追求極致的數學證明準確度時，可能需要支付更高的成本；若應用場景對預算敏感，則應選擇如 Nemotron 3 Super 等高性價比的模型。
AI 重點 2

使用 refine@k 指標比單次生成更能反映模型的真實潛力

滑鼠懸停看 AI 判斷理由
這顯示了在處理複雜的數學形式化任務時，透過多次嘗試與修正（Refinement）機制，能顯著提升 LLM 的成功率，這對於設計自動化數學教學工具具有啟發意義。

核心研究發現

  1. 1

    在數學證明表現上，Gemini 3.1 Pro 與 Claude Opus 4.7 表現最為優異，分別在 miniF2F 與 miniCTX 數據集取得高成功率。

  2. 2

    Gemini 3.1 Pro 在 miniF2F 數據集透過 refine@32 測試時，達到了 92% 的成功率。

  3. 3

    Claude Opus 4.7 在 miniCTX 數據集透過 refine@32 測試時，達到了 86% 的成功率。

  4. 4

    若考量成本效益，NVIDIA Nemotron 3 Super 與 GPT-OSS 120B 最具效率，單次正確證明的平均成本低於 0.01 美元。

對教育工作者的啟發

對於開發數學自動化教學工具或輔助證明系統的開發者而言，這項研究提供了明確的技術選型指南。若目標是開發高精度的數學輔助教學系統，應優先考慮 Gemini 或 Claude 系列模型；若目標是開發大規模、低成本的自動化練習評測系統，則應轉向使用 Nemotron 3 Super 等高性價比模型。此外，研究結果強調了「迭代修正」在數學邏輯任務中的重要性，建議在設計 AI 數學學習工具時，應整合「生成-檢查-修正」的循環機制，而非僅依賴單次生成結果。

原始文獻資訊

英文標題：
Evaluation of LLMs for Mathematical Formalization in Lean
作者：
Tyson Klingner, Drew Bladek, Escher Crawford, Bohao Chen, Ariel Fu, Kaira Nair, Jarod Alper, Giovanni Inchiostro, Vasily Ilin
來源：
arXiv - Artificial Intelligence
AI 摘要模型：
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。