將自主權調整視為偏好學習:代理工具使用的信任校準形式化

arXiv - Human-Computer InteractionChangkun Ou

本文將代理工具的信任校準問題轉化為偏好學習,利用高斯過程分類與不確定性導向查詢,實現自動化與人類審核的最優分離。

AI 幫你先抓重點

AI 重點 1

將信任校準視為偏好學習,開啟了使用貝葉斯優化工具的可能性

滑鼠懸停看 AI 判斷理由
此觀點將傳統的信任調整問題轉化為可量化的學習任務,允許研究者利用成熟的高斯過程推斷與不確定性評估,從而以更科學的方式設計代理行為。
AI 重點 2

不確定性導向查詢確保人類介入最小化,提升系統效率

滑鼠懸停看 AI 判斷理由
透過只在預測最不確定時才請求人類批准,系統能在極少的人工交互下快速學習風險容忍度,對於需要大量即時決策的教育工具尤為重要。

核心研究發現

  1. 1

    1. 信任校準可被正式化為偏好學習問題,使用高斯過程後驗估計隱含的人類風險容忍度。

  2. 2

    2. 政策閘道器僅在預測批准結果最不確定時才升級至人類,確保人機協作的高效性。

  3. 3

    3. 透過不確定性導向查詢,系統在樣本數極少的情況下即可達到高準確度,提升樣本效率。

  4. 4

    4. 與傳統偏好貝葉斯優化不同,本方法的目標是將行動空間分類為允許/阻止/詢問三區,而非優化設計。

對教育工作者的啟發

對於設計可自動化學習工具的教育工作者而言,本文提供了一套可落地的信任校準框架。首先,將教師或學習者的批准/拒絕反饋視為二元偏好,利用高斯過程對風險容忍度進行建模;其次,系統在預測不確定度最高的情境下才向人類請求確認,從而減少不必要的人工介入。這種不確定性導向的升級策略不僅提升了工具的自主性,也保證了安全性。實務上,開發者可將此模型嵌入學習管理系統或智能輔助教學平台,根據實際使用情境動態調整自動化程度,並透過持續收集的批准/拒絕數據不斷優化風險評估。

原始文獻資訊

英文標題:
Progressive Autonomy as Preference Learning: A Formalization of Trust Calibration for Agentic Tool Use
作者:
Changkun Ou
來源:
arXiv - Human-Computer Interaction
AI 摘要模型:
openai/gpt-oss-20b
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。