AI代理實驗的預註冊：提升可信度的必要性
arXiv - Computers and SocietyMichelle Vaccaro
本文主張將人類受試者實驗的預註冊做法擴展至AI代理實驗，並提供專屬模板以提升研究可信度。
AI 幫你先抓重點
AI 重點 1
預註冊可顯著降低AI代理實驗的研究偏誤
滑鼠懸停看 AI 判斷理由
AI代理可快速迭代，若不事先公開研究設計，研究者易進行選擇性報告或後設調整。預註冊強制透明化，限制隱蔽調整，提升實驗結果的可信度與可重複性。
AI 重點 2
AI代理實驗的設計自由度高，需專門的預註冊模板
滑鼠懸停看 AI 判斷理由
傳統人類受試者實驗的預註冊模板未涵蓋模型、提示語、設定等AI特有變數。專屬模板可確保所有關鍵決策被記錄，避免事後調整造成的偏差，並促進同行評審與資料共享。
核心研究發現
- 1
AI代理實驗引入多項研究者自由度，包括模型選擇、提示語句、設定參數及結果依賴的重新設計。
- 2
低成本迭代與缺乏報告規範使上述選擇易被利用且難以偵測，增加研究偏誤風險。
- 3
作者提出專為AI代理實驗設計的預註冊範本，並呼籲學術界將其作為標準實務。
對教育工作者的啟發
對教育科技工作者而言，首先應熟悉並採用作者提出的AI代理實驗預註冊範本，確保在實驗前明確列出模型版本、提示語、參數設定及可能的結果依賴調整。實驗完成後，必須完整報告所有預註冊項目，並將實際實驗流程與預註冊文件一併提交給期刊或會議。此做法不僅提升研究透明度，也能減少因AI代理快速迭代而產生的偏誤。教育機構與研究團隊可將此流程納入研究倫理與方法培訓，並鼓勵學術期刊與資助機構將預註冊作為投稿或資助的前置條件。
原始文獻資訊
- 英文標題：
- Preregistration for Experiments with AI Agents
- 作者：
- Michelle Vaccaro
- 來源：
- arXiv - Computers and Society
- AI 摘要模型：
- openai/gpt-oss-20b
每週精選研究電子報
每週五信箱收到精選 5 篇教育科技重點研究摘要，零時間壓力掌握學術前沿。