CombEval：評估大型語言模型組合計數能力的動態基準框架
arXiv - Artificial IntelligenceYuxu Zhou, Ond\v{r}ej Ku\v{z}elka, Yuyi Wang, Yuanhong Wang, Yi Chang
本文提出 CombEval 框架，透過動態生成具備精確解答的組合計數問題，深入診斷大型語言模型在組合推理上的弱點。
AI 幫你先抓重點
AI 重點 1
從靜態測試集轉向動態生成的評估範式
滑鼠懸停看 AI 判斷理由
傳統靜態基準容易導致模型過擬合，而 CombEval 透過 Cofola 規範生成的動態問題，能更真實地測試模型在面對未見過的邏輯結構時的泛化能力與推理穩定性。
AI 重點 2
區分直接推理與程式輔助推理的效能差異
滑鼠懸停看 AI 判斷理由
透過對比直接回答與結合程式碼（Code-augmented）的表現，研究者可以釐清模型究竟是缺乏邏輯推理能力，還是僅僅是缺乏執行精確計算的工具，這對未來 AI 輔助教學設計至關重要。
核心研究發現
- 1
CombEval 採用動態生成機制，能根據實體規模、約束條件數量與推理深度，系統性地變換自然語言計數問題。
- 2
研究評估了 11 個大型語言模型，發現模型在處理有序對象、不可區分元素、相對位置約束及嵌套對象依賴時表現脆弱。
- 3
錯誤分析顯示，模型的主要失敗原因在於無法正確解讀約束條件以及對組合計數基本原理的掌握不足。
對教育工作者的啟發
對於開發 AI 輔助數學教學工具的設計者而言，此研究提醒我們不能僅依賴 LLM 的直接輸出，因為模型在處理複雜約束（如位置、嵌套關係）時極易出錯。建議在設計數學學習系統時，應整合「程式碼輔助（Code-augmented）」機制，讓 AI 學習將邏輯問題轉化為程式邏輯進行運算，而非僅靠語言直覺。此外，開發者可利用此類動態框架來設計更具挑戰性、能精準診斷學生邏輯盲點的數位化數學練習題。
原始文獻資訊
- 英文標題：
- CombEval: A Framework for Evaluating Combinatorial Counting in Large Language Models
- 作者：
- Yuxu Zhou, Ond\v{r}ej Ku\v{z}elka, Yuyi Wang, Yuanhong Wang, Yi Chang
- 來源：
- arXiv - Artificial Intelligence
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。