試算表下一步動作預測的基準測試與評估框架
arXiv - Human-Computer InteractionTejas Agrawal, Vu Le, Sumit Gulwani, Gust Verbruggen
本文為試算表開發預測性自動補全功能，提出了一個包含手動策劃數據集與線上評估框架的新基準測試。
AI 幫你先抓重點
AI 重點 1
從「靜態數據」轉向「動態互動式評估」的範式轉移
滑鼠懸停看 AI 判斷理由
傳統預測模型多依賴靜態序列，但試算表操作具有高度互動性。透過模擬使用者「接受或拒絕」預測的循環，能更真實地衡量 AI 在實際工作流中的輔助效能，而非僅僅是準確率。
AI 重點 2
解決公開數據集中缺乏編輯歷史的資料稀缺問題
滑鼠懸停看 AI 判斷理由
這展示了當自然數據不足時，如何結合啟發式演算法與 LLM 來合成高品質的訓練資料，這對於開發特定領域（如教育工具）的 AI 輔助功能具有高度參考價值。
核心研究發現
- 1
研究團隊透過參數化啟發式演算法與大型語言模型（LLM）優化，手動策劃了包含 52 個序列、共 1.2 萬次動作的試算表重建數據集。
- 2
針對試算表動作具備空間、時間與複合性的複雜特徵，提出了一種線上評估機制，模擬使用者在每一步動作後接受或拒絕預測的互動過程。
- 3
研究利用多種基準預測器（包含零樣本 LLM、微調後的 SLM 及傳統模型）進行測試，並分析了動作特性、誤報率、效率及使用者背景等影響因素。
對教育工作者的啟發
對於開發教育科技工具（如自動化數學練習表或數據分析教學工具）的設計者而言，此研究強調了「預測性輔助」不應僅追求高準確率，更應考慮使用者與系統的互動循環。在設計學習輔助系統時，應建立類似的「即時反饋與修正」機制，讓 AI 能根據學生的操作選擇（接受或拒絕建議）來動態調整預測策略，從而提升學習工具的流暢度與適應性。
原始文獻資訊
- 英文標題：
- A Benchmark and Framework for Evaluating Next Action Predictions in Spreadsheets
- 作者：
- Tejas Agrawal, Vu Le, Sumit Gulwani, Gust Verbruggen
- 來源：
- arXiv - Human-Computer Interaction
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。