衡量對集合式 AI 建議適當依賴的框架
arXiv - Human-Computer InteractionRanjan Mishra, Jakob Schoeffer
提出首個衡量集合式 AI 建議適當依賴的正式框架，涵蓋分類與回歸任務。
AI 幫你先抓重點
AI 重點 1
集合式 AI 建議能更精細傳遞不確定性，提升人類決策品質。
滑鼠懸停看 AI 判斷理由
傳統單點預測無法表達不確定性，集合式建議提供範圍或多重選項，讓使用者在評估風險時更具彈性，進而降低過度或不足依賴的風險。
AI 重點 2
正確依賴率 AI 與自我指標的結合，為設計人機協作介面提供量化依賴目標。
滑鼠懸停看 AI 判斷理由
透過這兩項指標，設計者可設定目標依賴比例，並即時調整介面提示或信任度，促進更有效的協作流程。
核心研究發現
- 1
對分類任務，作者定義了正確依賴率 AI 與正確依賴率自我兩項指標，能同時評估人機協作中的適當依賴程度。
- 2
對回歸任務，提出量化 AI 依賴量與 AI 依賴質量兩項度量，分別衡量決策者是否使用 AI 建議以及其依賴是否使估計更接近真實值。
- 3
實驗證明，這些新度量能捕捉傳統指標忽略的細微差異，揭示人類在不同不確定性情境下的依賴行為。
對教育工作者的啟發
此框架提供兩種分類指標與兩種回歸指標，可直接嵌入教育平台的 AI 建議系統，幫助教師與學生了解何時應依賴機器、何時應自行判斷。設計者可利用正確依賴率 AI 監控學生對 AI 建議的接受度，並調整提示頻率或訊息長度，以避免過度依賴。對於回歸任務（如成績預測、學習進度估算），量化 AI 依賴量與質量能協助教師評估學生利用 AI 的實際效果，進而調整教學策略或提供個別化反饋。總之，框架不僅提升人機協作的透明度，也為教育科技產品的評估與優化提供可操作的度量標準。
原始文獻資訊
- 英文標題：
- A Framework for Measuring Appropriate Reliance on Set-Valued AI Advice
- 作者：
- Ranjan Mishra, Jakob Schoeffer
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。