工具檢索橋接:透過橋接模型對齊模糊指令與檢索器偏好

arXiv - Computation and LanguageKunfeng Chen, Luyao Zhuang, Fei Liao, Juhua Liu, Jian Wang, Bo Du

提出橋接模型將模糊指令轉為具體,顯著提升工具檢索效能

AI 幫你先抓重點

AI 重點 1

橋接模型將模糊指令重寫為具體語句,縮小指令與檢索器偏好之間的差距。

滑鼠懸停看 AI 判斷理由
此策略直接解決實際應用中指令不明確的痛點,使大型語言模型能更準確地選擇合適工具,提升實務效能與使用者體驗。
AI 重點 2

TRB 在多種常用檢索設定下均表現出顯著改進,顯示方法具備高度通用性。

滑鼠懸停看 AI 判斷理由
通用性意味著研究成果可快速整合進現有檢索系統,降低開發門檻,促進工具檢索技術在教育科技領域的廣泛應用。

核心研究發現

  1. 1

    建立 VGToolBench benchmark,模擬人類模糊指令,為工具檢索研究提供真實場景。

  2. 2

    實驗顯示,模糊指令會顯著降低檢索器的 NDCG 分數,證實指令清晰度對效能影響大。

  3. 3

    使用 TRB 方法後,BM25 的平均 NDCG 從 9.73 提升至 19.59,提升幅度高達 111.51%。

對教育工作者的啟發

教育科技實務者可先收集模糊指令資料,訓練或微調橋接模型,將其嵌入 LLM 之工具檢索流程。實驗顯示,TRB 能在不改變原有檢索器的情況下,顯著提升 NDCG,建議在部署前先做小規模 A/B 測試,確保指令重寫不引入誤差。若資源有限,可先在最常用的檢索器(如 BM25)上驗證效果,再擴展至其他模型。最後,將提升數據公開於 GitHub,促進社群共創與持續優化。

原始文獻資訊

英文標題:
Tool Retrieval Bridge: Aligning Vague Instructions with Retriever Preferences via Bridge Model
作者:
Kunfeng Chen, Luyao Zhuang, Fei Liao, Juhua Liu, Jian Wang, Bo Du
來源:
arXiv - Computation and Language
AI 摘要模型:
openai/gpt-oss-20b
閱讀原文

每週精選研究電子報

每週五信箱收到精選 5 篇教育科技重點研究摘要,零時間壓力掌握學術前沿。