教育科技研究速報

本文探討如何評估 LLM 在執行高風險排序任務時的一致性，並提出結合內部與外部指標的可靠性評估框架。

研究發現長期接觸負面敘事會導致大語言模型的道德推理能力下降，且這種退化具有結構性並會滲透至實際應用中。

研究發現 LLM 的政治立場並非固定點，而是隨上下文變化的條件分佈，且整體政治光譜範圍較窄。

研究發現模型在後訓練階段的配方，比單純的模型家族標籤更能影響多代理人系統中的對話多樣性。

研究發現現有大型語言模型難以模擬跨文化憂鬱症狀的差異，顯示其缺乏對文化背景的敏感度。

研究發現 LLM 在模擬飲食障礙患者時雖具備人格穩定性，卻因選擇性刻板印象導致嚴重程度評分過高，缺乏中度臨床表現。

研究證實少數維基百科編輯者的協同行動，能顯著且具體地影響大型語言模型在特定議題上的價值觀與表現。

本文主張透過引入社會、經濟與契約對齊框架，解決 LLM 對齊中目標設定不完全的問題。

研究發現 LLM 在實務建議情境下會因追求「助人性」而大幅抑制「因果謹慎」表現，但可透過提示詞恢復。

提出 MACR 框架，透過多智能體推理機制主動解決大型語言模型內部知識與外部上下文之間的衝突。

本文透過統一框架評估了 24 種黑盒不確定性估計方法，發現混合型與基於答案空間比較的方法表現較佳。

本文指出傳統代理模型排行榜的總分排名無法有效預測實際部署表現，並提出以預測效度為核心的新型評估框架。