CollabBench：透過主動互動評估LLM協作能力
arXiv - Computers and SocietyHong Qian, Yuanhao Liu, Zihan Zhou, Zongbao Zhang, Hanjie Ge, Haotian Shi, Liang Dou, Xiangfeng Wang, Jingwen Yang, Aimin Zhou
提出CollabBench，透過多玩家協作遊戲與多樣化玩家模擬，訓練LLM代理提升效率與情感適應，顯著優於基礎模型。
AI 幫你先抓重點
AI 重點 1
多玩家協作環境能揭示LLM在真實人機互動中的局限性。
滑鼠懸停看 AI 判斷理由
傳統單一對話測試忽略了情境深度與行為執行，這一發現提醒研究者需設計更具沉浸感的協作場景，才能真正評估代理的協作能力與情感適應。
AI 重點 2
Hybrid reward結合效率與情感適應可同時提升代理的任務表現與人機互動質量。
滑鼠懸停看 AI 判斷理由
此策略證明單一任務導向的獎勵不足以培養人性化協作，對於教育科技設計者而言，可借此調整學習平台的激勵機制，兼顧學習成效與情感連結。
核心研究發現
- 1
訓練模型在CWAH-MultiPlayer與Cook-MultiPlayer環境中，效率提升19.5%，情感表現提升24.4%。
- 2
CollabBench提供多樣化玩家行為模擬，允許代理在不同人格下進行協作測試。
- 3
Hybrid reward設計平衡任務效率與情感適應，促進代理在協作中的行為調整。
對教育工作者的啟發
對教育科技實務者而言，CollabBench提供可重複使用的多玩家協作測試框架，能快速驗證新模型在不同人格下的協作表現。透過多樣化玩家模擬，設計者可針對特定學習者特質調整互動策略，提升學習動機與情感投入。Hybrid reward的雙重指標設計亦示範如何在學習平台中平衡任務完成度與情感滿足，避免單純追求效率而忽略學生情緒。將此框架嵌入課程設計，可促進學生在協作式學習中的實踐與反思，並為後續自適應學習系統提供數據驅動的行為模型。
原始文獻資訊
- 英文標題：
- CollabBench: Benchmarking and Unleashing Collaborative Ability of LLMs with Diverse Players via Proactive Engagement
- 作者：
- Hong Qian, Yuanhao Liu, Zihan Zhou, Zongbao Zhang, Hanjie Ge, Haotian Shi, Liang Dou, Xiangfeng Wang, Jingwen Yang, Aimin Zhou
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。