小型語言模型在領導-跟隨互動中的零/一樣適應評估
arXiv - Human-Computer InteractionRafael R. Baptista, Andr\'e de Lima Salgado, Ricardo V. Godoy, Marcelo Becker, Thiago Boaventura, Gustavo J. G. Lahr
小型語言模型在領導-跟隨互動中，零樣本微調能以低延遲達到高準確率，但一樣本模式會因上下文長度受限而性能下降。
AI 幫你先抓重點
AI 重點 1
零樣本微調在邊緣設備上實現高效角色分配，顯示小型模型可替代大型模型。
滑鼠懸停看 AI 判斷理由
低延遲與高準確率使其適用於資源受限的移動機器人，改變了對大型模型的依賴，降低部署成本與能源消耗。
AI 重點 2
一樣本模式下性能下降揭示上下文長度對小型模型的限制。
滑鼠懸停看 AI 判斷理由
提醒設計者在多輪對話中需考慮模型容量，避免過長上下文導致分類失敗，促進更精細的對話管理策略。
核心研究發現
- 1
零樣本微調 Qwen2.5-0.5B 在領導-跟隨角色分類中達到 86.66% 準確率，延遲僅 22.2 ms。
- 2
未訓練基線和提示工程方法表現明顯較差，零樣本微調顯著優於兩者。
- 3
一樣本模式下，因上下文長度增加，模型性能下降，顯示模型容量限制。
- 4
資料集由公開資料庫擴充合成樣本構成，能捕捉互動特定動態。
對教育工作者的啟發
零樣本微調的小型語言模型可在移動機器人上即時完成領導-跟隨角色分配，延遲僅 22.2 ms，適合資源受限環境。設計者應保持對話上下文簡短，避免一次性輸入過長，並可利用合成樣本進行微調以提升準確率。
原始文獻資訊
- 英文標題：
- Evaluating Zero-Shot and One-Shot Adaptation of Small Language Models in Leader-Follower Interaction
- 作者：
- Rafael R. Baptista, Andr\'e de Lima Salgado, Ricardo V. Godoy, Marcelo Becker, Thiago Boaventura, Gustavo J. G. Lahr
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。