誰來決定偏好聚合方式?審視大型語言模型群體推薦中的聚合規則權限

arXiv - Human-Computer InteractionYuxuan Du

研究發現 LLM 在處理衝突偏好時,其決策行為會隨權限分配方式(使用者保留或委託模型)而產生顯著差異。

AI 幫你先抓重點

AI 重點 1

區分「執行能力」與「決策權限」的關鍵差異

滑鼠懸停看 AI 判斷理由
這改變了我們對 AI 代理能力的認知。過去我們認為 AI 能執行規則就代表它能處理問題,但研究顯示,即便 AI 具備執行規則的技術能力,若權限分配不明,其決策邏輯仍會產生不可預測的偏差。
AI 重點 2

權限委託會導致 AI 產生預設的決策傾向

滑鼠懸停看 AI 判斷理由
這對於設計協作系統至關重要。當使用者將決策權委託給 AI 時,AI 並非中立的執行者,而是會根據其內部的機率分佈來「選擇」一種結果,這可能隱含了模型開發者的偏好或訓練數據的偏差。

核心研究發現

  1. 1

    當權限明確由使用者保留時,面對兩種規則皆合理的衝突情況,模型幾乎不會做出決策;但若權限委託給模型,模型則會在所有案例中做出決策。

  2. 2

    雖然三種模型在直接指令下皆能完美執行特定規則,但在權限不明或委託給模型時,其產出的結果分佈會因模型與偏好設定而異。

  3. 3

    研究區分了「規則執行能力」與「聚合規則權限」:委託權限僅代表賦予模型決策權,並不等同於決定了最終的集體結果。

對教育工作者的啟發

在開發用於小組協作或群體決策的教育科技工具時,設計者不應僅關注 AI 是否能「正確執行」規則,更需明確定義「決策權」的歸屬。若工具涉及學生間的衝突偏好(如小組選題或資源分配),應設計明確的權限介面,讓學生知道決策是由規則驅動、由學生決定,還是由 AI 代理。避免在權限不明的情況下讓 AI 自動進行偏好聚合,以防止 AI 的內在機率分佈影響學習者之間公平的協作過程。

原始文獻資訊

英文標題:
Who Chooses How Preferences Are Aggregated? Auditing Aggregation-Rule Authority in LLM-Based Group Recommendation
作者:
Yuxuan Du
來源:
arXiv - Human-Computer Interaction
AI 摘要模型:
/models/gemma-4-26B-A4B-it
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。