CRISP：學術出版物相對影響力評估
arXiv - Computers and SocietyHannah Collison, Benjamin Van Durme, Daniel Khashabi
利用大型語言模型共同評估引用文獻影響力，提升準確度與效率。
AI 幫你先抓重點
AI 重點 1
聯合排序與多數投票的結合，顯著降低LLM位置偏差
滑鼠懸停看 AI 判斷理由
大型語言模型在處理長文本時往往受輸入順序影響，透過隨機化排序並多次投票，可消除此偏差，確保引用評估的公平性與可靠性。
AI 重點 2
CRISP在人工標註資料集上顯著提升準確率與F1，證明方法有效
滑鼠懸停看 AI 判斷理由
實驗結果顯示CRISP比先前最佳模型提升9.5%準確率與8.3% F1，說明聯合評估與偏差緩解機制在實際應用中具備顯著優勢，值得學術評估與教育科技領域採用。
核心研究發現
- 1
CRISP使用LLM對引用文獻進行聯合排序，取代單獨評估，提升影響力判斷準確度。
- 2
透過隨機排序三次並多數投票，減少LLM位置偏差。
- 3
在人工標註引用資料集上，CRISP比先前最佳模型提升9.5%準確率與8.3% F1。
- 4
CRISP減少LLM呼叫次數，顯著提升效率，並與開源模型競爭。
- 5
研究團隊公開排名、影響標籤與程式碼，促進後續研究與實務應用。
對教育工作者的啟發
CRISP提供一套可擴充、成本效益高的引用影響力評估流程，教育機構可將其整合至研究評估、課程設計與學術資源管理。實務者可先將引用清單隨機化輸入LLM，使用多次投票確定影響力等級，並透過公開的程式碼快速部署。此方法不僅減少LLM呼叫次數，降低運算成本，亦能在開源模型上達到競爭性能，適合資源有限的學術單位。未來可將評估結果作為課程選擇、研究資金分配或學術合作的參考指標，提升決策透明度與科學性。
原始文獻資訊
- 英文標題：
- CRISP: Characterizing Relative Impact of Scholarly Publications
- 作者：
- Hannah Collison, Benjamin Van Durme, Daniel Khashabi
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。