卸載分數:透過反事實工作流衡量 AI 依賴度

arXiv - Computers and SocietyVishakh Padmakumar, Lujain Ibrahim, Zora Zhiruo Wang, Jennifer Wang, Q. Vera Liao, Diyi Yang

提出「卸載分數」量化用戶將認知努力轉移給 AI 的程度,能比傳統指標更精準捕捉壓力下的依賴行為。

AI 幫你先抓重點

AI 重點 1

從「認知努力分配」而非「產出採用率」來定義 AI 依賴。

滑鼠懸停看 AI 判斷理由
傳統指標僅關注用戶是否使用 AI,但忽略了用戶是否因此放棄了思考。這項改變能幫助研究者區分「輔助學習」與「認知卸載」,對於評估 AI 在教育中的學習成效至關重要。
AI 重點 2

利用反事實工作流(Counterfactual Workflow)建立量化基準。

滑鼠懸停看 AI 判斷理由
這提供了一種科學的方法來估算「如果沒有 AI,用戶會怎麼做」,解決了以往依賴度衡量過於主觀或僅依賴使用時數的侷限性,提升了測量的客觀性。

核心研究發現

  1. 1

    提出「卸載分數」(Offloading Score),透過估算無 AI 情況下的任務步驟,計算用戶節省的步驟比例來量化認知努力的轉移。

  2. 2

    實驗顯示,在時間壓力下,卸載分數能偵測到依賴度顯著增加 43%,而傳統的使用量或自我報告指標則無法區分壓力環境。

  3. 3

    高依賴度表現為更頻繁地將子任務委派給 AI,以及更直接地重複使用 AI 生成的輸出內容。

  4. 4

    結合任務目標(如程式碼理解度)與卸載分數,可以有效識別用戶的 AI 依賴行為是否屬於不當的過度依賴。

對教育工作者的啟發

對於教育科技設計者而言,不應僅追求提高 AI 的使用率,而應監控「卸載分數」以防止學習者的認知退化。在設計學習工具時,可以引入「目標導向監控」,當系統偵測到卸載分數過高且與學習目標(如理解力)不符時,主動介入或調整 AI 的介入程度,從而引導學生進行更深層的自主學習,而非單純的任務完成。

原始文獻資訊

英文標題:
Offloading Score: Measuring AI Reliance Through Counterfactual Workflows
作者:
Vishakh Padmakumar, Lujain Ibrahim, Zora Zhiruo Wang, Jennifer Wang, Q. Vera Liao, Diyi Yang
來源:
arXiv - Computers and Society
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。