AI 代理能否進行開放式 AI 研究？來自兩個案例研究的初步證據
arXiv - Computers and SocietyPeter Kirgis, Sayash Kapoor, Andrew Schwartz, Stephan Rabanser, David Africa, Konstantinos Voudouris, Viet Nguyen, Toby Pilditch, Magda Dubois, Harry Coppock, Cozmin Ududec, Nitya Nadgir, Matilda Orona, Tilman Bayer, Derrick Chan-Sew, Yue Ling, Abhishek Shetty, Helen Toner, Gillian Hadfield, Seth Lazar, Steve Newman, Shoshannah Tekofsky, Rishi Bommasani, Arvind Narayanan
研究發現目前的 AI 代理雖能完成研究工程任務，但在回答核心研究問題與科學思辨上仍面臨重大挑戰。
AI 幫你先抓重點
AI 重點 1
區分「研究工程」與「研究思辨」的關鍵差異
滑鼠懸停看 AI 判斷理由
這項洞察提醒我們，自動化程式碼撰寫或實驗執行（工程）並不等同於科學發現（思辨）。理解兩者的界線有助於我們更準確地評估 AI 在學術研究中的真實潛力與侷限。
AI 重點 2
影子評估（Shadow Evaluation）作為衡量 AI 進步的新標準
滑鼠懸停看 AI 判斷理由
傳統的窄域任務測試或隨機的同行評審難以衡量 AI 的研究能力。透過讓領域專家對 AI 處理真實研究問題的表現進行評分，能提供更具權威性且符合科學實務的評估指標。
核心研究發現
- 1
AI 代理能獨立完成所有工程實作，但在回答高品質未發表論文的核心研究問題時，無法取得實質進展。
- 2
研究識別出五種常見失敗模式：對研究標準判斷錯誤、研究設計缺乏創意、無法從死胡同有效回溯、資源意識不足以及指令漂移。
- 3
透過「影子評估」方法，讓原論文作者對 AI 生成的內容進行評分，證實 AI 生成的研究內容會被原作者明確拒絕。
- 4
使用不同模型與框架進行的穩健性檢查，再次驗證了 AI 在研究生命週期關鍵環節的失敗表現。
對教育工作者的啟發
對於教育設計者而言，這項研究強調了「高階認知技能」在 AI 時代的不可替代性。在設計以 AI 為輔助的學習環境時，不應僅著重於讓學生學習如何利用 AI 完成「工程型任務」（如寫程式、整理資料），更應強化「研究設計」、「批判性判斷」與「從錯誤中回溯」等高階思辨能力。課程設計應引導學生觀察 AI 在面對複雜問題時的失敗模式（如指令漂移或缺乏創意），並將這些失敗作為學習科學思辨與問題解決能力的教學契機。
原始文獻資訊
- 英文標題：
- Can AI agents conduct open-ended AI research? Early evidence from two case studies
- 作者：
- Peter Kirgis, Sayash Kapoor, Andrew Schwartz, Stephan Rabanser, David Africa, Konstantinos Voudouris, Viet Nguyen, Toby Pilditch, Magda Dubois, Harry Coppock, Cozmin Ududec, Nitya Nadgir, Matilda Orona, Tilman Bayer, Derrick Chan-Sew, Yue Ling, Abhishek Shetty, Helen Toner, Gillian Hadfield, Seth Lazar, Steve Newman, Shoshannah Tekofsky, Rishi Bommasani, Arvind Narayanan
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- /models/gemma-4-26B-A4B-it
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。