教育科技研究速報

研究證實透過在現實領域進行益行為強化學習，能顯著提升 AI 模型在未知領域的對齊泛化能力與抗干擾韌性。

本文主張 AI 對齊不應僅追求人類偏好的聚合，而應建立以能力、事實、誠實與法律為底線的非談判原則。

提出 PICACO 方法，透過優化元指令來解決 LLM 在處理多樣且衝突的人類價值時的指令瓶頸問題。

提出 ZORO 介面將被動的編碼規則轉化為主動控制機制，透過強化規則執行與即時回饋提升人機協作效率。

本文探討 AI Agent 在面對多目標且不可通約的艱難抉擇時，因優化設計所導致的識別與決策局限性。

研究發現對話歷史會顯著影響 LLM 的安全性，部分模型會因累積的上下文而強化使用者的妄想信念。

本文指出靜態的 AI 價值對齊方法存在結構性缺陷，主張應從「靜態規格」轉向「開放式規格」以應對 AI 的演進。

研究發現 LLM 內部存在符合人類情緒模型的 VA 子空間，並可透過情緒向量控制模型的拒絕與奉承行為。

提出 DEFT 框架，透過數據過濾與分佈引導機制，提升大型語言模型對齊效率並兼顧泛化能力。

本研究提出「表面安全對齊假設」，認為安全對齊是教導模型選擇正確的回應方向（滿足或拒絕請求）的二元分類任務，並揭示了影響安全性的關鍵神經元。

本文探討前沿 AI 系統安全案例的建立，指出現有方法存在局限，並提倡從安全保證領域汲取經驗，以提升 AI 安全評估的嚴謹性。