教育科技研究速報

研究指出醫療 LLM 的評估應聚焦於首診行為而非僅看診斷準確度，以解決資訊收集不足的預構型差距。

研究發現 AI 在法律選擇題測試中存在「僅靠選項即可解題」的漏洞，導致評分結果可能高估模型能力。

本文指出當前 AI 代理人評估忽略了結果最終性與單元獨立性，並提出一套完善評估標準的框架。

研究發現模板化提示詞會導致 LLM 政治立場評估偏差，建議改用全合成提示詞以提升評估的真實性與準確度。

本研究提出一種新方法，透過偵測並修正大型語言模型在評分時的潛在數字偏差，提升其作為自動評分者的準確性。

研究發現將證據與決策過程分離（證據鎖定）會降低 LLM 評審與人類偏好的一致性。

本文提出「不可組合性原則」，指出 AI 基準測試的證據在延伸應用時，若未考慮端點與假設的一致性，其有效性將無法傳遞。

提出 CARE-MH 框架以解決心理健康 LLM 評估中缺乏一致性、難以重複與難以比較的問題。

研究指出僅評估 AI 的公平性是不夠的，因為部分模型看似中立僅是因為其缺乏有效評估能力的「中立幻覺」。

本文提出將通用人工智慧（AGI）視為一種「穩態屬性集群」，並建議透過領域中心性權重與穩定性指標來優化評估模型。

提出 CEDI 框架，透過自動化考官與模型進行多輪互動，更真實地檢測多模態大模型的幻覺問題。

提出 Kaleidoscope 工作流，透過角色化測試、情境化量表與人類審核機制，實現可靠且可擴展的 AI 自動化評分。