教育科技研究速報

本文透過探討學習分析（LA）的本體論，釐清數據本質、代理人角色及數據與規範之間的邏輯關係。

探討為何高完成率的線上學習課程無法有效轉化為實際工作行為的落差問題。

本文提出 SubtleMemory 基準測試，旨在評估 AI 代理人在長時程互動中辨別複雜記憶關係的能力。

提出一種基於評論者引導的異質多代理人框架，透過生成與驗證機制提升數學推理的準確性與可靠性。

本文提出全新基準測試，揭示視覺語言模型在時序推理時常依賴顏色等表面特徵而非邏輯判斷。

提出 PerceptUI 框架，利用多階段訓練的 LLM 代理模擬特定用戶角色，進行高擬真度的 UI/UX 評估。

研究提出 BenchAgent 框架，發現多 Agent 系統在標準化條件下往往不如單 Agent，除非採用動態生成的運行時工作流。

本文推出 CL-Bench 基準測試，揭示現有 AI 代理在透過經驗進行持續學習時仍面臨過擬合與知識重用失敗的挑戰。

開發 SoCRATES 基準測試，用於評估 LLM 在多樣化社會認知情境下進行主動衝突調解的可靠性。

本文推出 Agents' Last Exam (ALE)，透過涵蓋 13 個產業與千餘項真實任務，評估 AI 在具經濟價值的長程工作流中的表現。

研究發現 LLM 評審在面對針對性挑戰時，其判斷會發生可逆轉的改變，顯示其評估結果具備高度可操縱性。

透過生成正負推理軌跡並使用對比偏好優化（CPO），顯著提升了大型語言模型處理多表問答的推理能力。