邁向 AI 原生時代下電腦科學課程的抗 AI 評量機制
arXiv - Computers and SocietyAnshumali Shrivastava
本文提出一個基於「帕累托盈餘」的正式框架,旨在透過衡量學生超越 AI 基線的能力來實現抗 AI 的評量。
AI 幫你先抓重點
AI 重點 1
從「禁止 AI」轉向「衡量超越 AI 的能力」
滑鼠懸停看 AI 判斷理由
這改變了傳統防範 AI 作弊的思維,將評量重心從限制工具轉向評估學生的增值能力,這對於 AI 原生時代的課程設計具有範式轉移的意義。
AI 重點 2
利用「帕累托盈餘」作為量化技能的指標
滑鼠懸停看 AI 判斷理由
這提供了一個數學化的解決方案,讓教育者能客觀判斷學生的貢獻究竟是來自於個人思考,還是僅僅依賴於更強大的 AI 算力或提示工程。
核心研究發現
- 1
提出一個最小化正式框架,透過定義真實任務、可執行評估器、AI 原生帕累托前沿及基於帕累托盈餘的評分規則來進行評量。
- 2
主張評分應聚焦於「抗 AI 技能」,即學生達成超越強大 AI 基線之成果的能力,而非僅僅是使用 AI 的程度。
- 3
證明帕累托盈餘能提供一種可測量的證書,證明提交的作品達成了 AI 基線無法提供的權衡優勢。
- 4
在萊斯大學(Rice University)的 COMP 480/580 課程中,將此框架應用於布隆過濾器(Bloom filters)的作業設計,測試學生能否改進 AI 生成的實作。
對教育工作者的啟發
教育者應停止試圖封鎖 AI,轉而設計「允許使用 AI 但要求超越 AI」的任務。具體做法包括:1. 定義明確的 AI 基線(Baseline),讓學生知道 AI 能做到的極限;2. 要求學生提交證明其超越基線的證據,如設計報告、提示詞軌跡(Prompt traces)或口頭測試;3. 評量重點應放在學生如何優化、改進或在複雜權衡中做出 AI 無法達成的決策,而非僅僅是產出正確的程式碼。
原始文獻資訊
- 英文標題:
- Toward AI-Resilient Assessment in Computer Science Courses in an AI-Native World
- 作者:
- Anshumali Shrivastava
- 來源:
- arXiv - Computers and Society
- AI 摘要模型:
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。