增強大型語言模型工具呼叫的國際工具呼叫資料集
arXiv - Human-Computer InteractionZuoyu Zhang, Yancheng Zhu
提出國際工具呼叫資料集，提升多語言 LLM 工具使用效能與跨域魯棒性。
AI 幫你先抓重點
AI 重點 1
ITC資料集提供3,571個真實API與17,540個工具呼叫任務，涵蓋40國與20類別，具備前所未有的多語言與地理多樣性。
滑鼠懸停看 AI 判斷理由
這個資料集的規模與真實性是關鍵，它解決了以往工具呼叫基準過於模擬化的問題。研究者和開發者能藉此更準確地評估和提升LLM在真實世界、多文化環境下的工具使用能力，避免模型在特定語言或地區表現不佳的風險。
AI 重點 2
實驗結果顯示，開源與封閉源LLM在工具呼叫上存在顯著差距，尤其在非英語查詢時表現較差，而使用ITC微調能有效提升跨語言推理與魯棒性。
滑鼠懸停看 AI 判斷理由
這揭示了目前LLM在跨語言工具使用方面的不足，並提供了一個具體的解決方案。對於教育科技領域，意味著需要特別關注模型在不同語言環境下的表現，並透過ITC等資料集進行微調，以確保所有學生都能獲得公平且有效的學習體驗。
核心研究發現
- 1
ITC 資料集包含 3,571 個真實 API 與 17,540 個工具呼叫任務，覆蓋 20 個類別與 40 個國家，提供前所未有的多語言與地理多樣性。
- 2
實驗顯示開源與封閉源 LLM 在工具呼叫表現上存在顯著差距，尤其在非英語查詢上表現更差。
- 3
在 ITC 上進行微調可顯著提升 LLM 的跨語言推理一致性與對外域工具的魯棒性，尤其對非英語輸入效果顯著。
- 4
ITC 資料集的真實 API 使模型在面對實際業務場景時的適應性更高，減少了對模擬環境的依賴。
- 5
本研究提供了一個可重複、可擴充的基準，為未來跨國、跨語言 LLM 工具呼叫研究與實務應用奠定基礎。
對教育工作者的啟發
教育工作者可利用 ITC 資料集設計多語言工具呼叫練習，幫助學生在實際 API 使用中培養問題解決與跨文化溝通能力。課程設計者可將 ITC 任務嵌入 PBL 框架，促進學生自主學習與協作。AI 研究者則可透過微調 ITC 資料提升模型對非英語環境的魯棒性，進而開發更具全球化的教育應用。
原始文獻資訊
- 英文標題：
- Enhancing Tool Calling in LLMs with the International Tool Calling Dataset
- 作者：
- Zuoyu Zhang, Yancheng Zhu
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。