評估互動性：針對 AI 生成之可探索解釋的自動化評估框架
arXiv - Human-Computer InteractionXiaozao Wang, Zhewei Wang, Hongyi Wen
提出 EE-Eval 框架，透過有限狀態機（FSM）將 AI 生成的互動式教學內容轉化為可量化的行為模型進行評估。
AI 幫你先抓重點
AI 重點 1
將「互動性」從模糊的感官體驗轉化為可測試的行為模型。
滑鼠懸停看 AI 判斷理由
過去評估 AI 教學內容多停留在功能是否正確或視覺是否美觀，此研究將互動邏輯結構化，讓教育者能精確診斷 AI 生成內容在教學邏輯上的缺陷。
AI 重點 2
從「生成結果」的檢驗轉向「教學意圖」的對齊。
滑鼠懸停看 AI 判斷理由
這改變了評估範式，不再只看 AI 做得「對不對」，而是看 AI 的互動路徑是否符合預設的教學目標，這對於設計高品質的數位學習教材至關重要。
核心研究發現
- 1
開發出 EE-Eval 框架，將互動性形式化為由學習者可控狀態與轉移組成的有限狀態機（FSM），使隱性互動邏輯變得可解釋。
- 2
透過比較生成 FSM 與教學意圖 FSM 的結構與語義相似度，EE-Eval 能有效區分互動品質，超越單純的程式執行或視覺檢查。
- 3
在涵蓋 127 個概念、由 6 種 AI 模型生成的數千個案例測試中，EE-Eval 的評估結果與人類對教學有效性的判斷高度一致。
對教育工作者的啟發
對於課程設計者而言，這項研究提供了一個檢視 AI 生成教材品質的新維度。在利用 LLM 快速產出互動式教學資源（如可探索的模擬實驗）時，不應僅檢查程式碼能否執行，更應關注其「互動路徑」是否符合教學設計的邏輯。設計者可以參考此框架的概念，建立一套標準化的檢核清單，確保 AI 生成的互動行為能引導學生進行正確的概念建構，而非僅僅是隨機的視覺變化，從而實現更具教學意義的人機協作開發流程。
原始文獻資訊
- 英文標題：
- Evaluating Interactivity: Toward Automated Assessment of AI-Generated Explorable Explanations
- 作者：
- Xiaozao Wang, Zhewei Wang, Hongyi Wen
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。