保證知識整合:聯合解碼在檢索增強生成中的應用

arXiv - Computation and LanguageZhengyi Zhao, Shubo Zhang, Zezhong Wang, Yuxi Zhang, Huimin Wang, Yutian Zhao, Yefeng Zheng, Binyang Li, Kam-Fai Wong, Xian Wu

提出 GuarantRAG 框架,通過分離推理與證據整合並使用聯合解碼,顯著提升 RAG 的準確率並降低幻覺。

AI 幫你先抓重點

AI 重點 1

將推理與證據整合分離,避免內部知識衝突

滑鼠懸停看 AI 判斷理由
此策略直接針對 RAG 的整合瓶頸,確保模型在使用外部證據時不被內部參數知識所干擾,從而提升答案的事實性與可靠性。
AI 重點 2

聯合解碼在 token 層面融合兩種答案,兼顧邏輯與事實

滑鼠懸停看 AI 判斷理由
動態融合機制允許模型在保持語義連貫的同時,根據證據調整答案內容,提供一種可擴展到其他生成任務的解決方案。

核心研究發現

  1. 1

    GuarantRAG 在五個問答基準上相較於標準與動態 RAG 提升準確率最高 12.1%。

  2. 2

    相較於基線,GuarantRAG 幻覺率下降 16.3%。

  3. 3

    Contrastive DPO 將內部推理答案作為負約束、檢索文件作為正樣本,強迫模型在證據整合階段抑制內部幻覺。

  4. 4

    聯合解碼在 token 層面動態融合 Inner-Answer 的邏輯連貫性與 Refer-Answer 的事實精準度。

對教育工作者的啟發

對於教育內容生成,採用 GuarantRAG 可顯著降低幻覺並提升答案準確度。實務工作者可先將內部推理答案與檢索證據分離,使用 Contrastive DPO 重新訓練模型,確保在證據整合階段抑制內部幻覺。接著實施聯合解碼,讓模型在 token 層面動態融合邏輯與事實,保持答案流暢且可信。最後,持續監測幻覺率並調整檢索策略,以符合課程設計與評量需求。

原始文獻資訊

英文標題:
Guaranteeing Knowledge Integration with Joint Decoding for Retrieval-Augmented Generation
作者:
Zhengyi Zhao, Shubo Zhang, Zezhong Wang, Yuxi Zhang, Huimin Wang, Yutian Zhao, Yefeng Zheng, Binyang Li, Kam-Fai Wong, Xian Wu
來源:
arXiv - Computation and Language
AI 摘要模型:
openai/gpt-oss-20b
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。