未被採用的 Token：探討 AI Agent 輸出的隨機性、狀態與變異性
arXiv - Computers and SocietyMuhammad Zia Hydari, Raja Iqbal
本文釐清了 AI Agent 輸出不一致的來源，將其區分為 Token 生成的內在隨機性與環境變動的外在變異性。
AI 幫你先抓重點
AI 重點 1
區分「內在隨機性」與「外在變異性」是理解 Agent 穩定性的關鍵。
滑鼠懸停看 AI 判斷理由
過去開發者常將所有不一致歸咎於模型隨機性，但若不區分環境與採樣層次，將難以在部署環境中實現可重複的行為，這對於需要高可靠性的 AI 應用至關重要。
AI 重點 2
確定性的執行並不等同於在部署環境中能獲得一致的行為。
滑鼠懸停看 AI 判斷理由
即使消除了 Token 採樣的隨機性，外部數據與基礎設施的動態變化仍會導致結果偏移，這提醒研究者在評估 AI Agent 時必須考慮更全面的系統環境。
核心研究發現
- 1
AI Agent 的行為差異源於多個層次，包括基礎模型的預測、編排迴圈中的規劃、工具調用、觀察結果以及狀態更新。
- 2
Token 生成過程中的隨機採樣是內在變異的主因，微小的 Token 差異會向上傳播，導致完全不同的工具調用、程式碼路徑或 Agent 狀態。
- 3
除了 Token 採樣，外部因素如環境變化、即時數據、伺服器基礎設施、批次處理效應及數值計算細節，也是造成系統變異性的重要來源。
對教育工作者的啟發
對於教育科技開發者而言，若要設計用於教學輔助或自動評量（Assessment）的 AI Agent，必須意識到其輸出的不穩定性。建議在設計教學對話或自動化教學流程時，除了調整 Temperature（溫度參數）來控制 Token 採樣外，還需建立穩定的環境封裝（Environment Sandboxing），並考慮如何處理外部數據變動帶來的影響。在進行教學實驗或評估 AI 輔助學習的效果時，應將「系統變異性」納入實驗設計的變數中，以確保觀察到的學習成效是來自教學干預，而非 AI 輸出的隨機波動。
原始文獻資訊
- 英文標題：
- The Token Not Taken: Sampling, State, and the Variability of AI Agent Outputs
- 作者：
- Muhammad Zia Hydari, Raja Iqbal
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。