aiassessmentedtechlearning design

大型語言模型於自動化出題之應用：以 ChatGLM 生成教師甄試結構化試題之案例研究

arXiv - Computers and SocietyLing He, Yanxin Chen, Xiaoqiang Hu

本研究證實 ChatGLM 能生成具備高合理性與科學性的教師甄試模擬試題，展現其在教育評量自動化的潛力。

AI 幫你先抓重點

AI 重點 1

提示工程（Prompt Engineering）是提升 AI 出題品質的關鍵技術。

滑鼠懸停看 AI 判斷理由
這說明了 AI 的能力不僅取決於模型本身，更取決於使用者如何設計指令。對於教育者而言，掌握如何與 AI 溝通，是將其轉化為專業教學輔助工具的核心能力。
AI 重點 2

AI 生成內容目前仍需人類專家的專業監督與校對。

滑鼠懸停看 AI 判斷理由
儘管模型展現了高度的可靠性，但在複雜的評分標準與細微的教育邏輯上仍有不足。這提醒實務工作者，AI 的角色應定位於「輔助生成」而非「完全取代」，需維持「人機協作」的模式。

核心研究發現

  1. 1

    透過精確的提示工程（Prompt Engineering），ChatGLM 能生成與真實國家教師甄試試題高度相似的模擬試題。

  2. 2

    專家評估顯示，模型生成的題目在合理性、科學性與實用性等指標上，與真實考題表現相當。

  3. 3

    研究發現模型在處理多樣化的評分標準時仍存在侷限性，顯示自動化出題系統仍需進一步優化。

對教育工作者的啟發

教育工作者可利用 LLM 快速產出初步的評量草案，以節省設計試題的時間。然而，在應用於正式評量時，必須建立一套「人工審核機制」，特別是針對評分準則（Rubrics）的精確度進行複核。建議將 AI 作為「腦力激盪」與「初稿生成」的工具，再由專業教師進行最後的品質把關，以確保題目符合教學目標與評量標準。

原始文獻資訊

英文標題：
Application of Large Language Models in Automated Question Generation: A Case Study on ChatGLM's Structured Questions for National Teacher Certification Exams
作者：
Ling He, Yanxin Chen, Xiaoqiang Hu
來源：
arXiv - Computers and Society
AI 摘要模型：
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。