PRISM：透過跨範圍遮罩進行機率重新分配的知識敏感型對齊技術
arXiv - Computation and LanguageChenning Xu, Mao Zheng, Mingyang Song
提出 PRISM 框架，透過風險門控與機率重新分配機制，減少大型語言模型在監督式微調時因過度模仿而產生的幻覺問題。
AI 幫你先抓重點
AI 重點 1
傳統監督式微調（SFT）可能成為幻覺的溫床
滑鼠懸停看 AI 判斷理由
這改變了我們對訓練數據的認知。過去認為模仿標籤是學習的關鍵，但本文指出，若標籤缺乏事實支持，模型會過度自信地模仿錯誤資訊，這提醒開發者在設計教學或訓練數據時，必須區分「知識性內容」與「結構性內容」。
AI 重點 2
精準定位「風險位置」比全面修正更重要
滑鼠懸停看 AI 判斷理由
PRISM 強調僅在事實關鍵位置進行調整，而非全盤修改。這對於未來開發具備「元認知」能力的 AI 極具啟發，即模型應能識別自身知識的薄弱環節，而非盲目地對所有輸出進行一致性優化。
核心研究發現
- 1
PRISM 框架能有效降低模型在事實性任務中的幻覺，改善在事實敏感基準測試中的表現，同時維持模型原有的通用能力。
- 2
研究發現，當輔助訊號以保守的方式使用時效果最為顯著，這顯示過度修正可能會損害模型的整體能力。
- 3
知識遮罩（Knowledge Masking）與模型感知重新分配（Model-aware Reallocation）在平衡事實修正與能力保留方面具有互補作用。
對教育工作者的啟發
對於開發教育專用 AI 的實務工作者而言，此研究提供了重要啟發：在訓練 AI 輔助教學工具時，不應僅追求模型對教材內容的「完美模仿」，而應引入「風險感知」機制。建議在設計訓練數據時，加入關於事實可靠性的標籤（如：此段落為事實、此段落為推論），並訓練模型在面對不確定資訊時保持低置信度，而非強行給出錯誤答案。這有助於建立更安全、更具批判性思考能力的 AI 學習夥伴。
原始文獻資訊
- 英文標題：
- PRISM: Probability Reallocation with In-Span Masking for Knowledge-Sensitive Alignment
- 作者：
- Chenning Xu, Mao Zheng, Mingyang Song
- 來源：
- arXiv - Computation and Language
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。