aiassessmentedtechdata standardizationlearning science

Every Eval Ever：AI 評估結果的統一架構與社群儲存庫

arXiv - Computers and SocietyJan Batzner, Sree Harsha Nelaturu, Anastassia Kornilova, Jon Crall, Tommaso Cerruti, Yanan Long, Yifan Mai, Sanchit Ahuja, Asaf Yehudai, Marek \v{S}uppa, John P. Lalor, Oluwagbemike Olowe, Jatin Ganhotra, Brian H. Hu, Eliya Habba, Andrew M. Bean, Chang Liu, Sander Land, Steven Dillmann, Aniketh Garikaparthi, Elron Bandel, Saki Imai, James Edgell, Wm. Matthew Kennedy, Jenny Chim, Patrick Meusling, Asteria Kaeberlein, Venkata Ramachandra Karthik Chundi, Manasi Patwardhan, Martin Ku, Austin Meek, Leon Knauer, Brian Wingenroth, Srishti Yadav, Usman Gohar, Felix Friedrich, Michelle Lin, Jennifer Mickel, Arman Cohan, Stella Biderman, Irene Solaiman, Zeerak Talat, Anka Reuel, Mubashara Akhtar, Gjergji Kasneci, Avijit Ghosh, Leshem Choshen

本文提出首個標準化的 AI 評估結果 JSON 架構與社群驅動資料庫，解決評估數據格式不一且難以比較的問題。

AI 幫你先抓重點

AI 重點 1

建立 AI 評估的「標準化語言」是邁向科學化評估的關鍵。

滑鼠懸停看 AI 判斷理由
過去 AI 評估高度碎片化，研究者難以進行橫向對比。透過統一的 JSON 架構，能將零散的數據轉化為可分析的科學資產，這對於建立可靠的 AI 學習工具評估標準至關重要。
AI 重點 2

社群驅動（Crowdsourced）的資料庫模式能加速技術迭代。

滑鼠懸停看 AI 判斷理由
單一研究機構無法涵蓋所有模型與基準，透過 Hugging Face 的社群機制，能讓評估數據隨著模型發展即時更新，降低了重複開發評估工具的成本。

核心研究發現

  1. 1

    目前的 AI 評估面臨格式不相容、數據分散於論文、部落格與排行榜等不同來源，導致難以進行跨社群的科學分析。

  2. 2

    開發了一套社群治理的元數據架構（Metadata Schema）與實例級架構，能統一整合來自不同評估框架的結果。

  3. 3

    建立了一個託管於 Hugging Face 的社群資料庫，目前已涵蓋 22,235 個模型、2,273 個基準測試及 31 種評估格式。

對教育工作者的啟發

對於開發 AI 教育工具（如 AI 助教或自動評分系統）的設計者而言，此研究提供了重要的基礎設施參考。未來在評估 AI 工具對學生的教學成效時，可以利用這種標準化架構，將不同評估框架下的數據進行整合分析，避免因評估工具不一而導致的成效判斷偏差。這有助於教育科技開發者建立更具科學依據的評估指標，並能更精準地比較不同 AI 模型在特定教學任務（如 PBL 引導或 SRL 支持）中的表現。

原始文獻資訊

英文標題：
Every Eval Ever: A Unifying Schema and Community Repository for AI Evaluation Results
作者：
Jan Batzner, Sree Harsha Nelaturu, Anastassia Kornilova, Jon Crall, Tommaso Cerruti, Yanan Long, Yifan Mai, Sanchit Ahuja, Asaf Yehudai, Marek \v{S}uppa, John P. Lalor, Oluwagbemike Olowe, Jatin Ganhotra, Brian H. Hu, Eliya Habba, Andrew M. Bean, Chang Liu, Sander Land, Steven Dillmann, Aniketh Garikaparthi, Elron Bandel, Saki Imai, James Edgell, Wm. Matthew Kennedy, Jenny Chim, Patrick Meusling, Asteria Kaeberlein, Venkata Ramachandra Karthik Chundi, Manasi Patwardhan, Martin Ku, Austin Meek, Leon Knauer, Brian Wingenroth, Srishti Yadav, Usman Gohar, Felix Friedrich, Michelle Lin, Jennifer Mickel, Arman Cohan, Stella Biderman, Irene Solaiman, Zeerak Talat, Anka Reuel, Mubashara Akhtar, Gjergji Kasneci, Avijit Ghosh, Leshem Choshen
來源：
arXiv - Computers and Society
AI 摘要模型：
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。