衡量與緩解過度依賴:建構與人類相容的 AI 系統
arXiv - Computers and SocietyLujain Ibrahim, Katherine M. Collins, Sunnie S. Y. Kim, Anka Reuel, Max Lamparth, Kevin Feng, Lama Ahmad, Prajna Soni, Alia El Kattan, Merlin Stein, Siddharth Swaroop, Vishakh Padmakumar, Ilia Sucholutsky, Andrew Strait, Diyi Yang, Q. Vera Liao, Umang Bhatt
本文探討大型語言模型(LLM)引發的過度依賴風險,並提出衡量與緩解此問題的策略以確保 AI 增強而非削弱人類能力。
AI 幫你先抓重點
AI 重點 1
從「工具」轉向「協作夥伴」的範式轉移帶來了新的認知風險。
滑鼠懸停看 AI 判斷理由
當 AI 從單純的檢索工具變成能進行自然語言互動的「思考夥伴」時,使用者更容易產生心理上的信任與依賴,這改變了人機互動的本質,要求我們必須重新定義學習與決策中的自主性。
AI 重點 2
必須將「緩解過度依賴」納入 AI 研發與部署的核心流程。
滑鼠懸停看 AI 判斷理由
這不僅是技術問題,更是設計哲學問題。若不主動設計機制來防止人類能力的退化,AI 的普及可能會在提升效率的同時,無意中削弱人類的批判性思考與問題解決能力。
核心研究發現
- 1
過度依賴 LLM 會在個人與社會層面產生風險,包括高風險決策錯誤、治理挑戰以及人類認知能力的退化(cognitive deskilling)。
- 2
過度依賴是由 LLM 特性、系統設計特徵以及使用者自身的認知偏差共同作用所導致的獨特問題。
- 3
現有的過度依賴衡量方法存在三大缺口,研究者需朝向更精準的新方向來改進衡量標準與評估機制。
對教育工作者的啟發
對於教育工作者與課程設計者,這提供了重要的警示:在將 AI 引入教學(如 PBL 或自主學習)時,不應僅關注 AI 能提供多少協助,更應設計「鷹架式」的互動機制。建議在課程設計中加入「批判性檢驗」環節,要求學生必須驗證 AI 生成內容的正確性,而非直接採納。透過這種方式,可以將 AI 從「答案提供者」轉化為「引導思考者」,在利用 AI 提升效率的同時,確保學生的認知技能與元認知(metacognition)能力不會因過度依賴而萎縮。
原始文獻資訊
- 英文標題:
- Measuring and mitigating overreliance to build human-compatible AI
- 作者:
- Lujain Ibrahim, Katherine M. Collins, Sunnie S. Y. Kim, Anka Reuel, Max Lamparth, Kevin Feng, Lama Ahmad, Prajna Soni, Alia El Kattan, Merlin Stein, Siddharth Swaroop, Vishakh Padmakumar, Ilia Sucholutsky, Andrew Strait, Diyi Yang, Q. Vera Liao, Umang Bhatt
- 來源:
- arXiv - Computers and Society
- AI 摘要模型:
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。