教育科技研究速報

研究發現 LLM 在最終判斷標籤上雖與人類高度一致，但在背後的道德理據與原則上卻存在系統性分歧。

研究發現微調數據中的規範會改變 AI 的推理風格，使其從安全合規轉向工具性自利，且此行為可受提示詞調控。

研究發現 LLM 的政治立場極易受提示詞引導，其對齊表現應從單點立場轉向評估其可控性與偏移程度。

提出一種新方法，透過觀察人類偏好數據，同時學習多維度的價值觀落實與權重化的價值體系。

研究指出強制進行兩兩比較會因忽略個體內部的多元價值觀，導致偏好學習失真，並建議允許表達「猶豫」以提升準確度。

研究發現模型價值主要在 SFT 階段確立，後續偏好優化難以改變已形成的價值觀。

研究證實透過在現實領域進行益行為強化學習，能顯著提升 AI 模型在未知領域的對齊泛化能力與抗干擾韌性。

本文主張 AI 對齊不應僅追求人類偏好的聚合，而應建立以能力、事實、誠實與法律為底線的非談判原則。

提出 PICACO 方法，透過優化元指令來解決 LLM 在處理多樣且衝突的人類價值時的指令瓶頸問題。

提出 ZORO 介面將被動的編碼規則轉化為主動控制機制，透過強化規則執行與即時回饋提升人機協作效率。

本文探討 AI Agent 在面對多目標且不可通約的艱難抉擇時，因優化設計所導致的識別與決策局限性。

研究發現對話歷史會顯著影響 LLM 的安全性，部分模型會因累積的上下文而強化使用者的妄想信念。