SCALEFeedback：用於大型語言模型教育回饋研究的合成電腦科學作業數據集
arXiv - Computers and SocietyKeyang Qian, Kaixun Yang, Wei Dai, Flora Jin, Yixin Cheng, Rui Guan, Sadia Nawaz, Zachari Swiecki, Guanliang Chen, Lixiang Yan, Dragan Ga\v{s}evi\'c
研究者開發了 SCALEFeedback 數據集，透過 SAM 框架生成大規模合成電腦科學作業，以推動自動化教育回饋的研究。
AI 幫你先抓重點
AI 重點 1
解決了 AIED 領域中缺乏大規模、高品質且具備評分標準的開放原始數據集之痛點。
滑鼠懸停看 AI 判斷理由
過去研究受限於隱私與數據獲取難度，無法開發具備泛化能力的自動回饋模型；此數據集的出現能讓研究者在保護隱私的前提下，進行大規模模型訓練與評估。
AI 重點 2
展示了利用「合成數據」來模擬複雜教學情境的高效可行性。
滑鼠懸停看 AI 判斷理由
這改變了傳統依賴真實學生數據進行研究的模式，證明透過精密的框架（如 SAM）可以生成具備教學邏輯與結構的模擬數據，加速教育科技工具的迭代。
核心研究發現
- 1
開發了名為 SCALEFeedback 的合成數據集，包含 155 個作業、59 門大學電腦科學課程及 10,000 份合成學生繳交作品。
- 2
採用「精細作業模仿」（SAM）框架，利用大型語言模型對真實的作業描述、評分標準與學生繳交內容進行一對一模仿生成。
- 3
技術驗證顯示，該合成數據集在特性上與真實數據高度相似，同時成功消除了原始資料中的個人識別資訊（PII）。
對教育工作者的啟發
對於致力於開發自動化評分或回饋系統的開發者而言，此研究提供了重要的基礎設施。實務上，教育工作者可以參考其「作業描述、評分標準、學生作品」三位一體的結構化設計，來優化 AI 輔助教學工具的提示詞工程（Prompt Engineering）。此外，該研究強調了在利用 AI 生成教學資源時，必須建立類似 SAM 的框架，以確保生成的內容既能模擬真實教學難度，又能嚴格遵守數據隱私規範，避免敏感資訊外洩。
原始文獻資訊
- 英文標題：
- SCALEFeedback: A Large-Scale Dataset of Synthetic Computer Science Assignments for LLM-generated Educational Feedback Research
- 作者：
- Keyang Qian, Kaixun Yang, Wei Dai, Flora Jin, Yixin Cheng, Rui Guan, Sadia Nawaz, Zachari Swiecki, Guanliang Chen, Lixiang Yan, Dragan Ga\v{s}evi\'c
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。