Long-Horizon-Terminal-Bench：透過密集獎勵評分測試 AI Agent 的長程任務極限
arXiv - Artificial IntelligenceZongxia Li, Zhongzhi Li, Yucheng Shi, Ruhan Wang, Junyao Yang, Zhichao Liu, Xiyang Wu, Anhao Li, Yue Yu, Ninghao Liu, Lichao Sun, Haotao Mi, LeoweiLiang
本文推出一個包含 46 項複雜任務的新基準測試，透過細粒度評分來評估 AI Agent 在長時程、開放式工作流中的表現。
AI 幫你先抓重點
AI 重點 1
從「結果導向」轉向「過程導向」的評估範式
滑鼠懸停看 AI 判斷理由
傳統基準測試僅關注最終結果（Sparse Reward），容易忽略 AI 在執行過程中的中間進度。引入密集獎勵（Dense Reward）能更精準地捕捉 AI 在複雜工作流中的能力邊界，這對於開發具備自主學習能力的 Agent 至關重要。
AI 重點 2
長時程規劃與長文本管理的挑戰性
滑鼠懸停看 AI 判斷理由
研究揭示了 AI 在面對需要數百個步驟的任務時，會面臨嚴重的規劃與錯誤修正壓力。這提醒開發者，單純增加模型參數可能不足以解決問題，如何優化迭代除錯與上下文管理才是突破關鍵。
核心研究發現
- 1
Long-Horizon-Terminal-Bench 涵蓋實驗重現、軟體工程、多模態分析等九大領域，任務執行通常需數十分鐘至數小時。
- 2
測試顯示 AI Agent 任務負擔極重，平均每個任務消耗 990 萬個 token，並需執行約 231 個回合與 85.3 分鐘。
- 3
即便最強的模型在完美獎勵門檻下的通過率僅 10.9%，模型平均通過率僅 1.7%，顯示現有 AI 在長程規劃上仍有巨大進步空間。
對教育工作者的啟發
對於致力於開發「AI 助教」或「自主學習導師」的開發者而言，此研究強調了評估系統不能只看 AI 是否給出正確答案，更應關注其引導學習的「過程品質」。在設計教育 AI 時，應模仿此研究的「密集獎勵」機制，將複雜的學習目標拆解為可觀察、可評分的微小步驟，並建立能即時回饋中間進度的評估模型，這對於支持學生進行專題式學習（PBL）中的長時程探究至關重要。
原始文獻資訊
- 英文標題：
- Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading
- 作者：
- Zongxia Li, Zhongzhi Li, Yucheng Shi, Ruhan Wang, Junyao Yang, Zhichao Liu, Xiyang Wu, Anhao Li, Yue Yu, Ninghao Liu, Lichao Sun, Haotao Mi, LeoweiLiang
- 來源：
- arXiv - Artificial Intelligence
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。