VAMPS：視覺輔助數學問題解決基準
arXiv - Artificial IntelligenceAmirhossein Dabiriaghdam, Shayan Vassef, Mohammadreza Bakhtiari, Yasamin Medghalchi, Ilker Hacihaliloglu, Mesrob Ohannessian, Lele Wang, Giuseppe Carenini
提出 VAMPS 基準，評估多模態 LLM 在圖形工具輔助下解數學問題的表現，發現直接分析仍優於視覺輔助。
AI 幫你先抓重點
AI 重點 1
多模態 LLM 在圖形工具輔助下仍表現不佳，提示視覺化工具的整合仍是挑戰。
滑鼠懸停看 AI 判斷理由
此發現顯示即使模型具備圖形生成能力，將圖形作為推理媒介仍難以提升性能，提醒研究者在設計工具介面與模型互動時需考慮更深層的視覺語義映射。
AI 重點 2
VAMPS 透過可診斷的圖形生成與推理流程，為評估多模態模型在實務工程與科學決策中的可靠性提供新基準。
滑鼠懸停看 AI 判斷理由
此基準允許研究者分離圖形生成與推理兩階段，辨識模型瓶頸，進而優化模型或工具設計，對教育科技與學習科學的實務應用具有直接參考價值。
核心研究發現
- 1
VAMPS 由 1,168 組雙語多模態選擇題組成，來源於伊朗大學入學代數與微積分題目，並加入人工審核的 LLM 合成變體，皆可透過繪圖揭示交點、極值、漸近線等自然解法。
- 2
VAMPS 不僅評估模型對固定視覺輸入的推理，還測試模型能否自行構建圖形並以此為基礎推導答案。
- 3
實驗發現，無論模型多樣，直接分析解法的表現均優於使用圖形工具輔助的解法，即使題目本身適合繪圖。
對教育工作者的啟發
教育工作者可利用 VAMPS 觀察學生在圖形工具使用上的困難，設計針對性練習；課程設計者可將圖形生成與推理分離，先教學生如何解讀圖形，再引導模型生成；AI 開發者可根據診斷結果優化圖形輸出格式與語義對應，提升模型在工程與科學決策中的實用性。
原始文獻資訊
- 英文標題：
- VAMPS: Visual-Assisted Mathematical Problem Solving Benchmark
- 作者：
- Amirhossein Dabiriaghdam, Shayan Vassef, Mohammadreza Bakhtiari, Yasamin Medghalchi, Ilker Hacihaliloglu, Mesrob Ohannessian, Lele Wang, Giuseppe Carenini
- 來源：
- arXiv - Artificial Intelligence
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。