mmPISA-bench：LLM在43種語言中的推理表現是否一致？
arXiv - Computers and SocietyYerzhan Sapenov, Jaromir Savelka
建立多語言推理基準，證明現代LLM在43種語言中能達到類似人類考試者的準確度，且機器翻譯資料亦可作為有效測試素材。
AI 幫你先抓重點
AI 重點 1
機器翻譯可替代官方翻譯，擴大多語言評估範圍。
滑鼠懸停看 AI 判斷理由
此發現顯示在缺乏官方翻譯時，可利用高品質機器翻譯快速構建測試資料，降低成本與時間，對跨語言教育評估具有實務價值。
AI 重點 2
不同語言的推理成本差異提醒模型選擇與資源配置需考量成本效益。
滑鼠懸停看 AI 判斷理由
了解各語言在token使用與費用上的差異，可協助教育機構在部署LLM時做出更精準的成本預估與效能優化，避免不必要的資源浪費。
核心研究發現
- 1
LLM在43種語言中的準確率與人類考試者相近，僅有輕微語言差異。
- 2
機器翻譯的題目與官方人類翻譯在準確率上無顯著差距，證明合格的機器翻譯可作為大規模多語言評估的替代資料。
- 3
不同語言的token使用量與推理成本不一致，部分語言同時呈現較高成本與較低準確率。
對教育工作者的啟發
教育工作者與課程設計者可利用mmPISA-bench快速評估多語言學習者的推理能力，並根據成本與準確率選擇合適的語言與模型。若缺乏官方翻譯，可採用高品質機器翻譯生成測試題，節省翻譯成本。評估時應同時監測token使用與推理費用，避免在成本高昂且準確率低的語言上投入過多資源。此基準亦可作為教材設計的驗證工具，確保教學內容在不同語言環境下的有效性。
原始文獻資訊
- 英文標題：
- mmPISA-bench: Do LLMs Reason Equally Well Across 43 Languages?
- 作者：
- Yerzhan Sapenov, Jaromir Savelka
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。