教育科技研究速報

本研究探討使用大型語言模型作為評審時，更換模型版本會導致評分結果不一致的測量效度問題。

研究發現 LLM 的自我一致性雖具操作價值，但高一致性模型在臨床情境下反而更容易犯下嚴重錯誤。

本文探討如何評估 LLM 在執行高風險排序任務時的一致性，並提出結合內部與外部指標的可靠性評估框架。

本文透過統一框架評估了 24 種黑盒不確定性估計方法，發現混合型與基於答案空間比較的方法表現較佳。

本文釐清了 AI Agent 輸出不一致的來源，將其區分為 Token 生成的內在隨機性與環境變動的外在變異性。

本文提出一套包含十二項指標的評估框架，從一致性、穩健性、可預測性與安全性四個維度剖析 AI Agent 的可靠性。

研究發現提示詞中的毒性語氣會顯著降低大型語言模型的知識準確性，並改變其內部運算機制。

研究發現 LLM 在處理衝突資訊時會產生「權威倒置」，即過度信任用戶的自然語言描述而忽略精確的感測器數據。

提出一種基於依賴圖的執行期驗證器，透過符號引擎確保大型語言模型對話的邏輯一致性與前提正確性。

本文透過理論分析揭示了基於 Transformer 的生成式推薦代理在運作機制中可能產生的四種系統性偏誤。

本文提出以「規則依據的正確性」取代傳統「與人類標籤一致性」的 AI 評估框架，以解決內容審核中的歧義問題。

本文提出「提示詞間可靠性（IPR）」框架，揭示 LLM 在不同提示詞下的輸出穩定性差異。