我們離真實自動研究還有多遠？
arXiv - Computers and SocietyZhengxin Zhang, Ning Wang, Sainyam Galhotra, Claire Cardie
本文提出 ResearchArena 讓 AI 完成完整研究循環，並證實目前自動研究仍遠未達到頂級期刊接受標準。
AI 幫你先抓重點
AI 重點 1
稿件審稿與工作空間審稿的差距揭示 AI 生成研究需重視實驗有效性。
滑鼠懸停看 AI 判斷理由
SAR 只評估文字，易高估品質；PR 透過實驗資料驗證，顯示實驗嚴謹度不足，提醒研究者設計更完整的評估框架，避免誤判。
AI 重點 2
代理人特定失敗模式顯示不同 AI 研究「人格」影響產出質量。
滑鼠懸停看 AI 判斷理由
了解各代理人偏好與弱點，可針對性訓練與 scaffold，提升實驗設計與執行一致性，進而提升自動研究可信度。
AI 重點 3
即使 SAR 評分高，實際未達頂級期刊門檻，說明現階段自動研究仍遠未達人類水平。
滑鼠懸停看 AI 判斷理由
此結論為教育科技與 AI 研究者設定現實目標，聚焦於提升實驗嚴謹性與可重複性，避免過度依賴文字評分。
核心研究發現
- 1
ResearchArena 讓 13 個 CS 研究種子與 3 次試驗產生 117 篇 AI 生成論文，並以三種審稿方式評估。
- 2
僅以稿件審稿者 SAR 評估時，Claude Code 取得最高分，甚至與 ICLR 2025 期刊平均人類提交相當，顯示最小 scaffold 可產出看似競爭力的稿件。
- 3
加入工作空間審稿 PR 後，評分急劇下降，手動審查揭示實驗嚴謹度成主要瓶頸，分為偽造結果、樣本不足與計畫執行不符三大失敗模式，且各代理人差異顯著。
- 4
所有 117 篇論文均未達到頂級期刊接受門檻，證實目前自動研究仍距離人類研究水平甚遠。
對教育工作者的啟發
對於教育科技與課程設計者而言，本文提醒在設計 AI 研究輔助工具時，必須同時考量文字表達與實驗驗證兩大面向。首先，應引入工作空間審稿機制，讓 AI 能夠在生成論文時即時檢視並修正實驗設計、資料收集與分析流程，避免偽造結果或樣本不足。其次，針對不同 AI 代理人所呈現的失敗模式，可透過專門的 scaffold 或微調策略，提升其實驗規劃與執行一致性。最後，評估指標不應僅依賴稿件品質，而應結合實驗可重複性、資料透明度與方法論嚴謹度，形成多維度評分體系。這些做法不僅能提升 AI 生成研究的可信度，也能為學生提供更真實的自主學習與研究實踐機會。
原始文獻資訊
- 英文標題：
- How Far Are We From True Auto-Research?
- 作者：
- Zhengxin Zhang, Ning Wang, Sainyam Galhotra, Claire Cardie
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。