承諾前的證據鎖定：凍結介面會降低 LLM 作為評審的評估效能
arXiv - Computation and LanguageDivyansh Singh
研究發現將證據與決策過程分離（證據鎖定）會降低 LLM 評審與人類偏好的一致性。
AI 幫你先抓重點
AI 重點 1
警惕「流程分離」帶來的認知偏差
滑鼠懸停看 AI 判斷理由
開發者常認為將「提取證據」與「做出判斷」拆分為兩個獨立步驟能提高嚴謹性，但本研究證明這種「凍結介面」會破壞 LLM 的推理連貫性，導致評估品質下降。
AI 重點 2
審計需求不應以犧牲決策品質為代價
滑鼠懸停看 AI 判斷理由
雖然保留證據有助於後續審計與透明度，但若將證據作為決策時的唯一輸入，會導致模型失去原始上下文，這提醒我們在設計 AI 評估系統時必須在透明度與準確性之間取得平衡。
核心研究發現
- 1
「證據鎖定」技術（將證據存儲於前一次呼叫並作為下次決策的唯一輸入）會使 LLM 與人類偏好的一致性下降 4 到 6 個百分點。
- 2
相較於結構化單次呼叫評審，證據鎖定會導致答案順序的不一致性增加 8 到 10 個百分點。
- 3
無論是使用 Claude Sonnet 4.5 還是 GPT-5，以及在 HelpSteer3、FeedbackQA 和 CoVal 三個數據集上的測試結果均顯示此負面影響。
- 4
點對點鎖定（Pointwise locking）同樣具有危害性，而結構化單次呼叫評審的表現則接近標準評審模式。
對教育工作者的啟發
在設計用於自動化學習評量或作業批改的 AI 系統時，應避免將「提取理由」與「給予分數」過度拆分為完全獨立的步驟。雖然結構化輸出（Structured Output）有助於透明度，但應確保模型在做最終判斷時，仍能同時接觸到原始的題目與答案內容，而非僅依賴先前提取出的摘要證據。若需進行審計，建議將證據作為「附加資訊」而非「唯一輸入」，以維持評估的準確性與一致性。
原始文獻資訊
- 英文標題：
- Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation
- 作者：
- Divyansh Singh
- 來源：
- arXiv - Computation and Language
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。